本篇 10 题|覆盖初级到高级|量化与精度。先用自己的话回答,再核对参考要点,最后练习工程追问。

本篇目录
- DEP-031 权重量化是什么?
- DEP-032 PTQ 与 QAT 有何区别?
- DEP-033 量化校准数据为什么重要?
- DEP-034 对称与非对称量化有何区别?
- DEP-035 逐张量与逐通道量化如何取舍?
- DEP-036 GPTQ 与 AWQ 应如何比较?
- DEP-037 为什么低比特量化容易影响异常值?
- DEP-038 混合精度推理是什么意思?
- DEP-039 量化模型上线前要测什么?
- DEP-040 如何判断量化是否值得?
DEP-031 权重量化是什么?
难度:中级
参考答案:用更少比特表示权重以降低存储和带宽需求,执行时可能采用反量化或低精度内核。压缩比例、质量和速度都取决于具体方案。
工程追问:模型文件变小为什么未必更快?
DEP-032 PTQ 与 QAT 有何区别?
难度:中级
参考答案:PTQ 在训练后校准或转换量化,QAT 在训练过程中模拟或融入量化影响。前者通常成本较低,后者需要训练资源,两者均需任务验证。
工程追问:没有训练数据时如何选择?
DEP-033 量化校准数据为什么重要?
难度:中级
参考答案:它影响范围或统计估计,应覆盖目标任务的输入分布和长度。偏离生产分布的校准集可能导致关键层误差,尤其要检查罕见和长文本样本。
工程追问:校准集能使用测试集吗?
DEP-034 对称与非对称量化有何区别?
难度:中级
参考答案:对称量化通常以零为中心缩放,非对称量化还使用零点适配偏移分布。选择影响表示精度与实现复杂度,需结合权重或激活分布。
工程追问:零点处理会增加哪些计算?
DEP-035 逐张量与逐通道量化如何取舍?
难度:中级
参考答案:逐通道可更细致适配不同通道范围,通常增加元数据和实现要求。逐张量简单但可能受异常值影响,实际表现依模型与硬件内核。
工程追问:为什么异常通道会拉大量化误差?
DEP-036 GPTQ 与 AWQ 应如何比较?
难度:中级
参考答案:两者采用不同的训练后权重量化思路,效果依模型、校准和实现。比较目标运行时支持、质量、显存与吞吐,不应仅按方法名称排名。
工程追问:格式支持和算法名称为什么要分开看?
DEP-037 为什么低比特量化容易影响异常值?
难度:中级
参考答案:有限表示范围需要覆盖极端值,可能牺牲常见值精度;裁剪又会损失极端信息。可通过分组、缩放或保留部分高精度处理,仍需验证。
工程追问:哪些任务更容易暴露误差?
DEP-038 混合精度推理是什么意思?
难度:中级
参考答案:不同权重、激活或算子使用不同精度,以平衡性能和稳定性。应记录真实计算路径,不能只用一个“四比特”标签概括全部执行。
工程追问:哪些层可能保留更高精度?
DEP-039 量化模型上线前要测什么?
难度:中级
参考答案:测试核心任务、长上下文、结构化输出、数值和安全边界,同时测延迟、吞吐和峰值内存。对最终部署产物评测,不能只测量化前模型。
工程追问:质量损失可接受的标准谁决定?
DEP-040 如何判断量化是否值得?
难度:中级
参考答案:比较节省的资源和成本是否足以覆盖质量退化与运维复杂度。低流量服务可能更重视简单稳定,高并发场景更关注容量收益。
工程追问:为什么更低比特不总是最佳选择?
复盘练习
任选一题,用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念,中级补实现与测试,高级补成本、权限和故障取舍。难度标签是学习建议,同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档,用于继续学习;本文为原创面试要点整理,具体框架行为以所用版本为准。