本篇 10 题｜覆盖初级到高级｜LoRA 原理与实践。先用自己的话回答，再核对参考要点，最后练习工程追问。
本篇目录
- SFT-031 LoRA 的基本思想是什么？
- SFT-032 LoRA 的 rank 有什么作用？
- SFT-033 LoRA alpha 如何影响训练？
- SFT-034 LoRA 应该加在哪些层？
- SFT-035 LoRA dropout 有什么作用？
- SFT-036 LoRA 与全参数微调如何公平比较？
- SFT-037 LoRA 权重可以合并到基座吗？
- SFT-038 多个 LoRA 可以直接相加吗？
- SFT-039 LoRA 检查点为什么依赖基座？
- SFT-040 LoRA 训练失败首先排查什么？
SFT-031 LoRA 的基本思想是什么？
难度：中级
参考答案：冻结基座权重，用低秩矩阵乘积表示可训练增量。它减少可训练参数和优化器状态，适合在资源受限时适配任务，但效果仍需验证。
工程追问：低秩假设意味着什么限制？
SFT-032 LoRA 的 rank 有什么作用？
难度：中级
参考答案：rank 控制增量矩阵的表达容量与参数量。更大不保证更好，可能增加成本与过拟合，应结合任务复杂度、数据量与评测选择。
工程追问：如何设计 rank 的消融实验？
SFT-033 LoRA alpha 如何影响训练？
难度：中级
参考答案：它参与对低秩更新的缩放，实际公式可能随变体变化。应同时考虑 rank、学习率与实现，不要在不了解缩放规则时直接照搬参数。
工程追问：修改 rank 后为什么要复核 alpha？
SFT-034 LoRA 应该加在哪些层？
难度：中级
参考答案：可作用于注意力投影和其他线性层，具体支持取决于架构与实现。扩大目标层可能提高适配能力，也增加训练成本，需要任务评测。
工程追问：只训练注意力层效果不足怎么办？
SFT-035 LoRA dropout 有什么作用？
难度：中级
参考答案：对适配器路径施加随机正则，可能减少过拟合，但并非所有数据与任务都受益。结合验证曲线和数据规模调整，不能把它当作质量保证。
工程追问：训练与推理时行为有什么差别？
SFT-036 LoRA 与全参数微调如何公平比较？
难度：中级
参考答案：统一数据划分、基座、评测和资源口径，分别调合理超参数。比较质量、训练时间、显存、部署复杂度与通用能力保持，避免只比一次默认实验。
工程追问：相同学习率是否公平？
SFT-037 LoRA 权重可以合并到基座吗？
难度：中级
参考答案：在兼容实现和精度条件下，可将增量合入基座以简化推理。合并后需重新评测，保留原始基座和适配器，量化场景尤其注意数值误差。
工程追问：合并前后输出完全相同吗？
SFT-038 多个 LoRA 可以直接相加吗？
难度：中级
参考答案：数学上可以组合某些增量，但语义效果不保证线性叠加。任务冲突、缩放与基座兼容性都需验证，不能假设两个优秀适配器合并后更优秀。
工程追问：组合后某任务退化怎样定位？
SFT-039 LoRA 检查点为什么依赖基座？
难度：中级
参考答案：适配器只保存增量，必须与训练时兼容的基座结构、权重及 tokenizer 配合。记录精确版本和配置，不能仅保存一个模糊模型名称。
工程追问：同名模型更新后会有什么问题？
SFT-040 LoRA 训练失败首先排查什么？
难度：中级
参考答案：检查目标模块是否匹配、可训练参数是否正确、梯度是否存在以及数据掩码。再看学习率与数值稳定性，避免直接增加 rank 掩盖链路错误。
工程追问：可训练参数数量为零如何发现？
复盘练习
任选一题，用“场景与约束 → 方案 → 验证方法 → 失败边界”组织一段回答。初级先讲清概念，中级补实现与测试，高级补成本、权限和故障取舍。难度标签是学习建议，同一题可继续深入。
延伸阅读
以下为本模块相关原始论文与官方文档，用于继续学习；本文为原创面试要点整理，具体框架行为以所用版本为准。