容量、性能、量化、并行、流式服务和发布运维。 共 100 题，分为 10 篇，每篇 10 题。
专题目录
- 容量与部署方式（DEP-001—DEP-010）
- 性能指标与压测（DEP-011—DEP-020）
- KV Cache 与批处理（DEP-021—DEP-030）
- 量化与精度（DEP-031—DEP-040）
- 并行与分布式推理（DEP-041—DEP-050）
- 推理运行时与优化（DEP-051—DEP-060）
- 托管 API 与模型网关（DEP-061—DEP-070）
- 流式服务与背压（DEP-071—DEP-080）
- 可观测性与服务目标（DEP-081—DEP-090）
- 发布、备份与恢复（DEP-091—DEP-100）
按问题查阅
容量与部署方式
- DEP-001 自建推理与托管 API 如何选择？ · 中级
- DEP-002 模型参数量如何估算权重内存？ · 中级
- DEP-003 推理显存主要由什么组成？ · 初级
- DEP-004 CPU 能否运行大模型？ · 初级
- DEP-005 应用服务与模型服务为什么分开？ · 初级
- DEP-006 如何估算请求并发需求？ · 高级
- DEP-007 为什么上下文长度影响容量？ · 初级
- DEP-008 怎样做部署容量试验？ · 中级
- DEP-009 小服务器部署 LLM 应用要注意什么？ · 初级
- DEP-010 容量规划为什么要考虑增长与故障？ · 初级
性能指标与压测
- DEP-011 TTFT 衡量什么？ · 初级
- DEP-012 TPOT 与总响应时间有何区别？ · 初级
- DEP-013 吞吐应该怎样报告？ · 中级
- DEP-014 为什么要看 p95 和 p99？ · 初级
- DEP-015 开环与闭环压测有什么区别？ · 初级
- DEP-016 压测为什么要包含冷启动？ · 初级
- DEP-017 如何构造真实长度分布？ · 中级
- DEP-018 怎样定位性能瓶颈？ · 中级
- DEP-019 优化前后怎样公平比较？ · 中级
- DEP-020 怎样判断压测达到了稳定状态？ · 中级
KV Cache 与批处理
- DEP-021 KV Cache 为什么能加速解码？ · 中级
- DEP-022 KV Cache 容量如何粗略估算？ · 中级
- DEP-023 静态批处理有什么局限？ · 中级
- DEP-024 连续批处理的核心是什么？ · 中级
- DEP-025 PagedAttention 解决什么问题？ · 中级
- DEP-026 前缀缓存适合哪些场景？ · 中级
- DEP-027 分块预填充有什么价值？ · 中级
- DEP-028 KV Cache 量化有什么取舍？ · 中级
- DEP-029 缓存不足时可以怎样处理？ · 中级
- DEP-030 批处理优化应该遵守什么约束？ · 中级
量化与精度
- DEP-031 权重量化是什么？ · 中级
- DEP-032 PTQ 与 QAT 有何区别？ · 中级
- DEP-033 量化校准数据为什么重要？ · 中级
- DEP-034 对称与非对称量化有何区别？ · 中级
- DEP-035 逐张量与逐通道量化如何取舍？ · 中级
- DEP-036 GPTQ 与 AWQ 应如何比较？ · 中级
- DEP-037 为什么低比特量化容易影响异常值？ · 中级
- DEP-038 混合精度推理是什么意思？ · 中级
- DEP-039 量化模型上线前要测什么？ · 中级
- DEP-040 如何判断量化是否值得？ · 中级
并行与分布式推理
- DEP-041 张量并行怎样工作？ · 中级
- DEP-042 流水线并行怎样工作？ · 中级
- DEP-043 数据并行推理与训练有何不同？ · 中级
- DEP-044 专家并行适用于什么模型？ · 中级
- DEP-045 多机推理为什么可能变慢？ · 中级
- DEP-046 如何选择并行策略？ · 中级
- DEP-047 预填充与解码分离有什么动机？ · 中级
- DEP-048 分布式推理如何处理节点故障？ · 高级
- DEP-049 负载均衡只看请求数够吗？ · 中级
- DEP-050 分布式部署如何做容量冗余？ · 高级
推理运行时与优化
- DEP-051 选择推理引擎要考虑什么？ · 中级
- DEP-052 FlashAttention 主要优化什么？ · 中级
- DEP-053 推测解码的基本原理是什么？ · 中级
- DEP-054 推测解码什么时候效果不好？ · 中级
- DEP-055 编译与 CUDA Graph 有何作用？ · 中级
- DEP-056 Tokenizer 会成为瓶颈吗？ · 中级
- DEP-057 模型加载速度如何优化？ · 中级
- DEP-058 如何避免推理内存碎片问题？ · 中级
- DEP-059 为什么优化要做消融实验？ · 高级
- DEP-060 运行时升级应该如何验证？ · 中级
托管 API 与模型网关
- DEP-061 统一模型网关解决什么问题？ · 中级
- DEP-062 怎样设计模型路由？ · 中级
- DEP-063 故障切换有哪些风险？ · 中级
- DEP-064 如何处理供应商限流？ · 中级
- DEP-065 如何统计调用成本？ · 中级
- DEP-066 API 密钥应该如何管理？ · 中级
- DEP-067 网关如何限制用户预算？ · 中级
- DEP-068 语义缓存适合放在网关吗？ · 中级
- DEP-069 如何避免日志存下完整敏感提示？ · 中级
- DEP-070 多供应商系统如何保持可追溯？ · 中级
流式服务与背压
- DEP-071 流式响应为什么改善体验？ · 中级
- DEP-072 反向代理会怎样影响流式输出？ · 中级
- DEP-073 SSE 事件如何设计？ · 中级
- DEP-074 客户端断开后服务端应做什么？ · 中级
- DEP-075 流式 JSON 如何校验？ · 中级
- DEP-076 流式内容如何做安全检查？ · 中级
- DEP-077 慢客户端为什么会拖垮服务？ · 中级
- DEP-078 如何设计流式重试？ · 中级
- DEP-079 流式计量什么时候结算？ · 中级
- DEP-080 如何测试流式链路？ · 中级
可观测性与服务目标
- DEP-081 LLM 服务应监测哪些指标？ · 高级
- DEP-082 日志、指标和追踪如何配合？ · 高级
- DEP-083 GPU 利用率应该怎样解读？ · 高级
- DEP-084 如何设计健康检查？ · 高级
- DEP-085 SLO 与告警阈值有何关系？ · 高级
- DEP-086 如何排查偶发 OOM？ · 高级
- DEP-087 成本异常如何发现？ · 高级
- DEP-088 如何监测回答质量退化？ · 高级
- DEP-089 如何建立故障排查顺序？ · 高级
- DEP-090 个人项目也需要可观测性吗？ · 高级