本篇 10 题｜覆盖初级到高级｜推理运行时与优化。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- DEP-051 选择推理引擎要考虑什么？
- DEP-052 FlashAttention 主要优化什么？
- DEP-053 推测解码的基本原理是什么？
- DEP-054 推测解码什么时候效果不好？
- DEP-055 编译与 CUDA Graph 有何作用？
- DEP-056 Tokenizer 会成为瓶颈吗？
- DEP-057 模型加载速度如何优化？
- DEP-058 如何避免推理内存碎片问题？
- DEP-059 为什么优化要做消融实验？
- DEP-060 运行时升级应该如何验证？
DEP-051 选择推理引擎要考虑什么？
难度：中级
参考答案：考虑模型和量化格式支持、硬件、批处理、接口、可观测性与维护成本。用同一代表性任务压测，避免只根据宣传吞吐决定。
工程追问：功能兼容与输出兼容有何区别？
DEP-052 FlashAttention 主要优化什么？
难度：中级
参考答案：通过更高效的注意力计算与内存访问减少开销，具体收益依序列、硬件和实现。它与 KV Cache 管理解决不同问题，可以组合使用。
工程追问：为什么它不等于减少模型参数？
DEP-053 推测解码的基本原理是什么？
难度：中级
参考答案：较便宜的草稿机制提出候选 token，由目标模型验证以减少昂贵串行步骤。收益依接受率与实现，保持分布的算法也依赖正确采样校正。
工程追问：草稿模型太慢会怎样？
DEP-054 推测解码什么时候效果不好？
难度：中级
参考答案：草稿与目标分布差异大、验证开销高或负载已充分批处理时收益可能有限。需同时测接受率、延迟与吞吐，不能只看候选数量。
工程追问：领域切换如何影响接受率？
DEP-055 编译与 CUDA Graph 有何作用？
难度：中级
参考答案：可减少部分执行和调度开销，但通常受形状、内存与算子支持约束。动态长度可能需要多种捕获或回退路径，应计入预热与额外内存。
工程追问：为什么首次请求特别慢？
DEP-056 Tokenizer 会成为瓶颈吗？
难度：中级
参考答案：在短请求、高并发或 CPU 资源不足时可能成为明显开销。监测编码与解码耗时，合理并行和缓存稳定前缀，但注意版本一致性与内存。
工程追问：多进程一定比多线程快吗？
DEP-057 模型加载速度如何优化？
难度：中级
参考答案：使用合适存储、缓存与运行时支持的权重格式，减少重复下载和不必要转换。验证完整性及版本，冷启动优化不能以跳过校验为代价。
工程追问：本地缓存损坏如何发现？
DEP-058 如何避免推理内存碎片问题？
难度：中级
参考答案：使用运行时支持的缓存分块和内存管理策略，控制动态分配与极端长度请求。先测真实分配模式，避免盲目调整分配器参数导致其他退化。
工程追问：碎片与真实容量不足如何区分？
DEP-059 为什么优化要做消融实验？
难度：高级
参考答案：多项改动同时上线难以知道收益来源和交互影响。逐项或分组比较质量、性能与资源，再验证最终组合，避免重复计算同一收益。
工程追问：两项优化单独有效组合却变慢怎么办？
DEP-060 运行时升级应该如何验证？
难度：中级
参考答案：固定模型与负载测试加载、生成、流式、工具格式和性能，核对依赖与驱动兼容。灰度发布并保留可回滚镜像与配置。
工程追问：接口没变为什么输出仍可能变化？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。