本篇 10 题｜覆盖初级到高级｜容量与部署方式。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- DEP-001 自建推理与托管 API 如何选择？
- DEP-002 模型参数量如何估算权重内存？
- DEP-003 推理显存主要由什么组成？
- DEP-004 CPU 能否运行大模型？
- DEP-005 应用服务与模型服务为什么分开？
- DEP-006 如何估算请求并发需求？
- DEP-007 为什么上下文长度影响容量？
- DEP-008 怎样做部署容量试验？
- DEP-009 小服务器部署 LLM 应用要注意什么？
- DEP-010 容量规划为什么要考虑增长与故障？
DEP-001 自建推理与托管 API 如何选择？
难度：中级
参考答案：比较隐私要求、流量、延迟、硬件利用率与运维能力。托管减少基础设施负担，自建提高控制力；应用服务器不必同时承担模型推理。
工程追问：低流量个人项目怎样降低固定成本？
DEP-002 模型参数量如何估算权重内存？
难度：中级
参考答案：参数数量乘每参数存储字节可得粗略权重体积，还需加量化元数据、缓存、运行时和临时缓冲。实际峰值应通过目标运行时测量。
工程追问：为什么权重能放下仍启动失败？
DEP-003 推理显存主要由什么组成？
难度：初级
参考答案：包括模型权重、KV Cache、激活与临时工作区，以及运行时开销。并发和上下文会显著增加缓存需求，不能只按模型文件大小配置 GPU。
工程追问：哪个部分随会话长度增长？
DEP-004 CPU 能否运行大模型？
难度：初级
参考答案：可以在支持的运行时执行，但吞吐和延迟取决于模型、量化、内存带宽与线程配置。适合部分低并发任务，是否可用应以真实负载测量。
工程追问：怎样判断瓶颈是 CPU 还是内存带宽？
DEP-005 应用服务与模型服务为什么分开？
难度：初级
参考答案：两者资源需求和扩缩容节奏不同，分离便于隔离故障与控制成本。小规模可以同机不同进程部署，但仍需明确资源配额和服务边界。
工程追问：同机部署最容易争用什么资源？
DEP-006 如何估算请求并发需求？
难度：高级
参考答案：结合到达速率与平均服务时间估计系统内请求数，并考虑峰值、长尾和排队。流式请求持续时间较长，要区分连接数、活动生成数与等待数。
工程追问：Little 定律适用需要哪些前提？
DEP-007 为什么上下文长度影响容量？
难度：初级
参考答案：更长输入增加预填充计算与 KV Cache，占用持续到生成结束。配置最大上下文只是能力上限，真实长度分布决定容量和尾延迟。
工程追问：少量超长请求如何拖慢普通请求？
DEP-008 怎样做部署容量试验？
难度：中级
参考答案：使用代表性输入输出长度和并发分布逐步压测，记录错误、延迟、吞吐与资源峰值。找到满足 SLO 的容量，不能以崩溃前极限作为生产配置。
工程追问：压测数据应如何避免过度重复？
DEP-009 小服务器部署 LLM 应用要注意什么？
难度：初级
参考答案：优先把模型调用交给独立服务，限制应用、数据库和后台任务资源，保留内存与磁盘余量。根据监控调整并发，避免默认启动过多 worker。
工程追问：增加 swap 能替代足够内存吗？
DEP-010 容量规划为什么要考虑增长与故障？
难度：初级
参考答案：正常负载下刚好够用的系统可能在重启、备份或依赖降级时失效。预留适当余量并测试单实例故障场景，根据实际恢复目标选择副本。
工程追问：个人项目怎样平衡冗余与成本？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。