本篇 10 题｜覆盖初级到高级｜评测、偏好优化与遗忘。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- SFT-071 为什么不能只看训练 loss？
- SFT-072 微调中如何监测和缓解灾难性遗忘？
- SFT-073 DPO 需要什么数据？
- SFT-074 DPO 与 SFT 的目标有什么区别？
- SFT-075 奖励模型可能被怎样利用？
- SFT-076 如何评测格式遵循能力？
- SFT-077 微调后拒答过多怎么办？
- SFT-078 如何检测训练数据记忆复述？
- SFT-079 微调效果需要统计显著性吗？
- SFT-080 如何选择最终检查点？
SFT-071 为什么不能只看训练 loss？
难度：中级
参考答案：训练 loss 衡量样本拟合，不能直接代表业务正确性、泛化或安全性。使用独立任务评测、格式检查和通用能力回归，防止学会模板却答错内容。
工程追问：loss 更低但准确率下降如何解释？
SFT-072 微调中如何监测和缓解灾难性遗忘？
难度：中级
参考答案：同时运行领域任务与原有能力回归，按训练阶段观察退化。可尝试数据混合、保守学习率或参数高效训练，再用消融实验确认收益，不能假设 LoRA 自动消除遗忘。
工程追问：怎样区分遗忘与评测噪声？
SFT-073 DPO 需要什么数据？
难度：中级
参考答案：通常需要同一提示下的偏好与非偏好回答对，学习相对偏好。标签必须对应明确标准，避免把长度、措辞或标注偏差误学成质量。
工程追问：两个回答都错误还能作为偏好对吗？
SFT-074 DPO 与 SFT 的目标有什么区别？
难度：中级
参考答案：SFT 学习给定目标回答，DPO 利用回答间偏好优化相对倾向。偏好优化不能替代基础能力和事实数据质量，训练前后仍需独立评测。
工程追问：为什么先建立合理 SFT 基线？
SFT-075 奖励模型可能被怎样利用？
难度：中级
参考答案：模型可能学会迎合评分器的表面特征，而非真正满足任务，例如冗长或固定措辞。使用多维评测、人工抽样和对抗案例检查奖励偏差。
工程追问：奖励上升但用户满意度下降怎么办？
SFT-076 如何评测格式遵循能力？
难度：中级
参考答案：使用 Schema、解析器和业务约束自动校验，覆盖缺字段、枚举、转义与长输出等边界。格式正确与语义正确分别报告，避免混为一个指标。
工程追问：合法 JSON 但金额错误如何计分？
SFT-077 微调后拒答过多怎么办？
难度：中级
参考答案：检查安全样本分布与标签边界，区分合理拒答和误拒答。补充可安全回答的相邻任务并调整训练，而不是简单删除全部安全样本。
工程追问：如何评估拒答精确率与覆盖率？
SFT-078 如何检测训练数据记忆复述？
难度：中级
参考答案：使用授权的敏感样本或可控标记进行针对性测试，观察近似提问和续写行为。测试未发现泄露不等于不存在，需结合数据最小化和访问控制。
工程追问：罕见样本为何更值得关注？
SFT-079 微调效果需要统计显著性吗？
难度：高级
参考答案：小幅提升应结合样本量与波动评估，可采用成对比较和置信区间。业务上还需看改善是否有实际价值，不能只追求一个显著性数字。
工程追问：多个指标同时比较会有什么问题？
SFT-080 如何选择最终检查点？
难度：中级
参考答案：按预先约定的验证指标与约束选择，兼顾任务收益和能力退化，再用保留测试集确认。不能在测试集上反复挑最优检查点。
工程追问：验证最优与业务最优不一致怎么办？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。