本篇 10 题｜覆盖初级到高级｜性能指标与压测。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- DEP-011 TTFT 衡量什么？
- DEP-012 TPOT 与总响应时间有何区别？
- DEP-013 吞吐应该怎样报告？
- DEP-014 为什么要看 p95 和 p99？
- DEP-015 开环与闭环压测有什么区别？
- DEP-016 压测为什么要包含冷启动？
- DEP-017 如何构造真实长度分布？
- DEP-018 怎样定位性能瓶颈？
- DEP-019 优化前后怎样公平比较？
- DEP-020 怎样判断压测达到了稳定状态？
DEP-011 TTFT 衡量什么？
难度：初级
参考答案：衡量请求开始到首个输出 token 的时间，包含网络、排队和预填充等因素。报告时明确起止点，否则不同系统数据难以直接比较。
工程追问：首个 SSE 事件能当作首 token 吗？
DEP-012 TPOT 与总响应时间有何区别？
难度：初级
参考答案：TPOT 描述输出阶段平均每 token 时间，总响应时间还包括等待和首字延迟。用户体验需要同时观察首字、生成节奏与完整完成时间。
工程追问：平均 TPOT 会掩盖什么卡顿？
DEP-013 吞吐应该怎样报告？
难度：中级
参考答案：区分请求每秒、输入 token 每秒和输出 token 每秒，并说明长度分布与并发。不同负载下同一个吞吐数字不可直接比较。
工程追问：长输出为何可能提高 token 吞吐却降低体验？
DEP-014 为什么要看 p95 和 p99？
难度：初级
参考答案：均值会掩盖少数很慢请求，高分位更能反映尾部体验。解释时需提供样本量与时间窗口，小样本的 p99 可能非常不稳定。
工程追问：如何处理少量极端长请求？
DEP-015 开环与闭环压测有什么区别？
难度：初级
参考答案：开环按设定速率发请求，闭环常等待响应后再发。闭环可能在服务变慢时自动降低压力，掩盖排队问题，应根据真实流量选择并说明方法。
工程追问：什么是协调遗漏？
DEP-016 压测为什么要包含冷启动？
难度：初级
参考答案：模型加载、编译、缓存预热和连接建立会造成明显延迟。分别报告冷态与稳态，验证扩容后多久真正具备服务能力。
工程追问：健康检查通过是否代表已预热完成？
DEP-017 如何构造真实长度分布？
难度：中级
参考答案：从授权脱敏的历史统计或代表性任务生成输入与输出长度组合，覆盖短问答、长文档和长生成。不能只用同一句提示反复测试。
工程追问：缓存命中率会怎样扭曲压测结果？
DEP-018 怎样定位性能瓶颈？
难度：中级
参考答案：把请求拆成网络、排队、预处理、推理和后处理，关联 CPU、GPU、内存与 I/O 指标。先识别最限制整体目标的阶段，再选择优化。
工程追问：GPU 利用率高就一定健康吗？
DEP-019 优化前后怎样公平比较？
难度：中级
参考答案：固定模型、硬件、数据、生成参数和负载策略，重复运行并报告波动。质量、错误率和资源消耗也必须比较，避免用降质换速度却未说明。
工程追问：输出变短为何可能造成虚假加速？
DEP-020 怎样判断压测达到了稳定状态？
难度：中级
参考答案：观察吞吐、队列长度、资源和延迟是否在一段时间内稳定，确认没有持续积压或缓存逐步膨胀。短时冲高不能代表可持续容量。
工程追问：内存缓慢增长应如何排查？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。