Administrator
发布于 2026-10-12 / 0 阅读
0
0

部署优化面试题 DEP-031—DEP-040:量化与精度

750题总目录 · 部署优化模块目录

本篇 10 题|覆盖初级到高级|量化与精度。先用自己的话回答,再核对参考要点,最后练习工程追问。

部署优化知识导图:100题,10个专题
部署优化知识导图:100题,10个专题;点击图片查看大图。

本篇目录

  1. DEP-031 权重量化是什么?
  2. DEP-032 PTQ 与 QAT 有何区别?
  3. DEP-033 量化校准数据为什么重要?
  4. DEP-034 对称与非对称量化有何区别?
  5. DEP-035 逐张量与逐通道量化如何取舍?
  6. DEP-036 GPTQ 与 AWQ 应如何比较?
  7. DEP-037 为什么低比特量化容易影响异常值?
  8. DEP-038 混合精度推理是什么意思?
  9. DEP-039 量化模型上线前要测什么?
  10. DEP-040 如何判断量化是否值得?

DEP-031 权重量化是什么?

难度:中级

参考答案:用更少比特表示权重以降低存储和带宽需求,执行时可能采用反量化或低精度内核。压缩比例、质量和速度都取决于具体方案。

工程追问:模型文件变小为什么未必更快?

DEP-032 PTQ 与 QAT 有何区别?

难度:中级

参考答案:PTQ 在训练后校准或转换量化,QAT 在训练过程中模拟或融入量化影响。前者通常成本较低,后者需要训练资源,两者均需任务验证。

工程追问:没有训练数据时如何选择?

DEP-033 量化校准数据为什么重要?

难度:中级

参考答案:它影响范围或统计估计,应覆盖目标任务的输入分布和长度。偏离生产分布的校准集可能导致关键层误差,尤其要检查罕见和长文本样本。

工程追问:校准集能使用测试集吗?

DEP-034 对称与非对称量化有何区别?

难度:中级

参考答案:对称量化通常以零为中心缩放,非对称量化还使用零点适配偏移分布。选择影响表示精度与实现复杂度,需结合权重或激活分布。

工程追问:零点处理会增加哪些计算?

DEP-035 逐张量与逐通道量化如何取舍?

难度:中级

参考答案:逐通道可更细致适配不同通道范围,通常增加元数据和实现要求。逐张量简单但可能受异常值影响,实际表现依模型与硬件内核。

工程追问:为什么异常通道会拉大量化误差?

DEP-036 GPTQ 与 AWQ 应如何比较?

难度:中级

参考答案:两者采用不同的训练后权重量化思路,效果依模型、校准和实现。比较目标运行时支持、质量、显存与吞吐,不应仅按方法名称排名。

工程追问:格式支持和算法名称为什么要分开看?

DEP-037 为什么低比特量化容易影响异常值?

难度:中级

参考答案:有限表示范围需要覆盖极端值,可能牺牲常见值精度;裁剪又会损失极端信息。可通过分组、缩放或保留部分高精度处理,仍需验证。

工程追问:哪些任务更容易暴露误差?

DEP-038 混合精度推理是什么意思?

难度:中级

参考答案:不同权重、激活或算子使用不同精度,以平衡性能和稳定性。应记录真实计算路径,不能只用一个“四比特”标签概括全部执行。

工程追问:哪些层可能保留更高精度?

DEP-039 量化模型上线前要测什么?

难度:中级

参考答案:测试核心任务、长上下文、结构化输出、数值和安全边界,同时测延迟、吞吐和峰值内存。对最终部署产物评测,不能只测量化前模型。

工程追问:质量损失可接受的标准谁决定?

DEP-040 如何判断量化是否值得?

难度:中级

参考答案:比较节省的资源和成本是否足以覆盖质量退化与运维复杂度。低流量服务可能更重视简单稳定,高并发场景更关注容量收益。

工程追问:为什么更低比特不总是最佳选择?

复盘练习

任选一题,用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念,中级补实现与测试,高级补成本、权限和故障取舍。难度标签是学习建议,同一题可继续深入。

延伸阅读

以下为本模块相关原始论文与官方文档,用于继续学习;本文为原创面试要点整理,具体框架行为以所用版本为准。

继续学习

上一篇:KV Cache 与批处理 · 下一篇:并行与分布式推理 · 返回部署优化目录


评论