本篇 10 题｜覆盖初级到高级｜QLoRA 与低比特训练。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- SFT-041 QLoRA 与普通 LoRA 有何区别？
- SFT-042 NF4 的设计针对什么？
- SFT-043 双重量化节省什么？
- SFT-044 分页优化器解决什么问题？
- SFT-045 QLoRA 是否等于推理量化？
- SFT-046 为什么四比特模型仍可能 OOM？
- SFT-047 计算精度应该怎样选择？
- SFT-048 QLoRA 合并后怎样部署？
- SFT-049 如何比较量化训练的质量损失？
- SFT-050 QLoRA 是否适用于所有模型？
SFT-041 QLoRA 与普通 LoRA 有何区别？
难度：中级
参考答案：QLoRA 在低比特冻结基座上训练适配器，以降低基座存储显存。计算通常仍涉及更高精度，不能理解为所有运算与训练状态都只有四比特。
工程追问：哪些部分仍占用较高精度显存？
SFT-042 NF4 的设计针对什么？
难度：中级
参考答案：NF4 是针对近似正态分布权重设计的四比特表示，用于提高有限量化级别的利用率。实际效果取决于权重分布和实现，需要任务评测。
工程追问：它与普通整数四比特有何不同？
SFT-043 双重量化节省什么？
难度：中级
参考答案：它进一步量化用于量化权重的常数，减少额外元数据开销。收益来自存储压缩，不代表模型质量或运行速度必然提升。
工程追问：量化元数据为何也占显存？
SFT-044 分页优化器解决什么问题？
难度：中级
参考答案：利用统一内存等机制管理优化器状态的显存压力，缓解峰值占用。换页可能带来性能成本，具体支持与效果取决于硬件和软件栈。
工程追问：频繁换页时如何定位瓶颈？
SFT-045 QLoRA 是否等于推理量化？
难度：中级
参考答案：不等于。QLoRA 是低比特基座上的适配器训练方案，推理量化关注部署格式与执行内核。训练产物上线仍需验证目标运行时兼容性。
工程追问：训练能跑为什么部署加载失败？
SFT-046 为什么四比特模型仍可能 OOM？
难度：中级
参考答案：除权重外，激活、优化器、临时缓冲、长序列与批次都占显存。应测量峰值并逐项优化，不能只按参数量乘四比特估算训练容量。
工程追问：增加上下文为什么很容易爆显存？
SFT-047 计算精度应该怎样选择？
难度：中级
参考答案：依据硬件支持、模型数值范围与框架兼容性选择 BF16、FP16 等，并监测溢出与损失异常。不要假设低比特存储决定所有计算精度。
工程追问：为什么 BF16 与 FP16 稳定性可能不同？
SFT-048 QLoRA 合并后怎样部署？
难度：中级
参考答案：选择目标运行时支持的路径，例如以适当精度合并后再量化，或运行时加载适配器。每一步可能引入误差，需对最终产物做完整回归。
工程追问：再次量化会累积哪些偏差？
SFT-049 如何比较量化训练的质量损失？
难度：中级
参考答案：与同基座、同数据的合理精度基线比较，使用任务切片与稳定重复实验。关注长文本、数字和罕见类别，不只看总体平均分。
工程追问：随机波动大于差异时怎样下结论？
SFT-050 QLoRA 是否适用于所有模型？
难度：中级
参考答案：不一定，模型结构、量化库、目标层和硬件内核都影响支持。先做最小加载、训练和保存恢复验证，再投入完整数据训练。
工程追问：不支持某个自定义层怎么办？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。