本篇 10 题｜覆盖初级到高级｜并行与分布式推理。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- DEP-041 张量并行怎样工作？
- DEP-042 流水线并行怎样工作？
- DEP-043 数据并行推理与训练有何不同？
- DEP-044 专家并行适用于什么模型？
- DEP-045 多机推理为什么可能变慢？
- DEP-046 如何选择并行策略？
- DEP-047 预填充与解码分离有什么动机？
- DEP-048 分布式推理如何处理节点故障？
- DEP-049 负载均衡只看请求数够吗？
- DEP-050 分布式部署如何做容量冗余？
DEP-041 张量并行怎样工作？
难度：中级
参考答案：把单层中的矩阵等计算分布到多个设备，计算过程中交换中间结果。适合模型无法单卡容纳等场景，但对互联带宽和延迟敏感。
工程追问：PCIe 与高速互联会带来什么差别？
DEP-042 流水线并行怎样工作？
难度：中级
参考答案：把不同层分配到不同设备，多个微批次流水执行。需要处理阶段不均衡与气泡，在线低并发时未必能充分利用。
工程追问：如何减少最慢阶段的拖累？
DEP-043 数据并行推理与训练有何不同？
难度：中级
参考答案：推理副本独立处理请求，通常不需要同步梯度。主要问题转向路由、负载均衡、缓存局部性和模型副本的资源成本。
工程追问：多副本如何保留前缀缓存收益？
DEP-044 专家并行适用于什么模型？
难度：中级
参考答案：适用于包含多个专家的 MoE 架构，将专家分布到设备并根据路由发送 token。通信与负载不均衡是关键瓶颈，具体方案依架构和运行时。
工程追问：热门专家会造成什么问题？
DEP-045 多机推理为什么可能变慢？
难度：中级
参考答案：跨机通信、同步与网络抖动可能超过增加算力的收益。先确认模型容量与吞吐需求，优先评估更简单拓扑并进行代表性压测。
工程追问：何时必须接受跨机开销？
DEP-046 如何选择并行策略？
难度：中级
参考答案：结合模型规模、硬件数量、互联、批次和延迟目标选择，可混合多种并行。没有通用最优组合，应记录配置与工作负载共同比较。
工程追问：同一模型在线与离线策略会相同吗？
DEP-047 预填充与解码分离有什么动机？
难度：中级
参考答案：两阶段资源特征不同，分离可独立扩容与调度。它也引入 KV 传输、协调和额外故障点，是否值得取决于规模与负载。
工程追问：KV 传输何时成为瓶颈？
DEP-048 分布式推理如何处理节点故障？
难度：高级
参考答案：检测故障并停止向异常实例路由，按请求语义重试或返回明确错误。流式已输出内容时重试需特别处理，不能悄悄拼接两个不同答案。
工程追问：是否能从中间 token 无缝恢复？
DEP-049 负载均衡只看请求数够吗？
难度：中级
参考答案：不够，请求长度、缓存命中和生成预算差异很大。可结合队列、预计 token 工作量和资源状态路由，同时避免频繁迁移破坏缓存局部性。
工程追问：如何估计未知输出长度？
DEP-050 分布式部署如何做容量冗余？
难度：高级
参考答案：根据故障域预留副本和资源，测试节点退出后的剩余容量与恢复时间。不能只看总 GPU 数量，还要检查模型分片是否形成单点依赖。
工程追问：一个分片故障为何影响整组服务？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。