数据工程、LoRA、QLoRA、训练、对齐与上线评测。 共 100 题，分为 10 篇，每篇 10 题。
专题目录
- 微调目标与方案选择（SFT-001—SFT-010）
- 数据工程与质量（SFT-011—SFT-020）
- 对话格式与训练损失（SFT-021—SFT-030）
- LoRA 原理与实践（SFT-031—SFT-040）
- QLoRA 与低比特训练（SFT-041—SFT-050）
- 训练超参数与稳定性（SFT-051—SFT-060）
- 分布式训练与资源（SFT-061—SFT-070）
- 评测、偏好优化与遗忘（SFT-071—SFT-080）
- 适配器部署与服务（SFT-081—SFT-090）
- 可复现与治理实践（SFT-091—SFT-100）
按问题查阅
微调目标与方案选择
- SFT-001 什么是监督微调 SFT？ · 初级
- SFT-002 微调与提示工程如何选择？ · 中级
- SFT-003 微调与 RAG 能否组合？ · 初级
- SFT-004 持续预训练与指令微调有何区别？ · 初级
- SFT-005 全参数微调有哪些特点？ · 中级
- SFT-006 参数高效微调是什么？ · 初级
- SFT-007 什么时候不值得微调？ · 初级
- SFT-008 如何选择微调基座？ · 中级
- SFT-009 微调目标怎样转成验收指标？ · 中级
- SFT-010 如何估算一次微调的总体成本？ · 中级
数据工程与质量
- SFT-011 微调数据越多越好吗？ · 中级
- SFT-012 训练集、验证集和测试集如何划分？ · 中级
- SFT-013 如何检测近重复样本？ · 中级
- SFT-014 如何制定标注规范？ · 中级
- SFT-015 合成数据有哪些风险？ · 中级
- SFT-016 如何处理类别不平衡？ · 中级
- SFT-017 训练数据包含隐私时怎么办？ · 中级
- SFT-018 怎样处理错误或冲突标签？ · 中级
- SFT-019 难例应该占多大比例？ · 中级
- SFT-020 数据集版本需要记录什么？ · 初级
对话格式与训练损失
- SFT-021 为什么聊天模板必须一致？ · 中级
- SFT-022 Tokenization 在微调中影响什么？ · 中级
- SFT-023 什么是 loss mask？ · 中级
- SFT-024 只训练回答与训练全部文本有何区别？ · 中级
- SFT-025 序列截断有哪些隐患？ · 中级
- SFT-026 样本 packing 是什么？ · 中级
- SFT-027 Padding token 与结束 token 能混用吗？ · 中级
- SFT-028 多轮对话数据如何整理？ · 中级
- SFT-029 工具调用数据应包含什么？ · 中级
- SFT-030 训练前为什么要做单批次检查？ · 中级
LoRA 原理与实践
- SFT-031 LoRA 的基本思想是什么？ · 中级
- SFT-032 LoRA 的 rank 有什么作用？ · 中级
- SFT-033 LoRA alpha 如何影响训练？ · 中级
- SFT-034 LoRA 应该加在哪些层？ · 中级
- SFT-035 LoRA dropout 有什么作用？ · 中级
- SFT-036 LoRA 与全参数微调如何公平比较？ · 中级
- SFT-037 LoRA 权重可以合并到基座吗？ · 中级
- SFT-038 多个 LoRA 可以直接相加吗？ · 中级
- SFT-039 LoRA 检查点为什么依赖基座？ · 中级
- SFT-040 LoRA 训练失败首先排查什么？ · 中级
QLoRA 与低比特训练
- SFT-041 QLoRA 与普通 LoRA 有何区别？ · 中级
- SFT-042 NF4 的设计针对什么？ · 中级
- SFT-043 双重量化节省什么？ · 中级
- SFT-044 分页优化器解决什么问题？ · 中级
- SFT-045 QLoRA 是否等于推理量化？ · 中级
- SFT-046 为什么四比特模型仍可能 OOM？ · 中级
- SFT-047 计算精度应该怎样选择？ · 中级
- SFT-048 QLoRA 合并后怎样部署？ · 中级
- SFT-049 如何比较量化训练的质量损失？ · 中级
- SFT-050 QLoRA 是否适用于所有模型？ · 中级
训练超参数与稳定性
- SFT-051 学习率过大会出现什么？ · 中级
- SFT-052 有效 batch size 如何计算？ · 中级
- SFT-053 梯度累积解决什么问题？ · 中级
- SFT-054 Warmup 有什么作用？ · 中级
- SFT-055 训练多少 epoch 合适？ · 中级
- SFT-056 梯度裁剪用于什么？ · 中级
- SFT-057 如何排查 NaN 或 Inf？ · 中级
- SFT-058 梯度检查点有什么代价？ · 中级
- SFT-059 如何选择保存检查点频率？ · 中级
- SFT-060 随机种子固定就能完全复现吗？ · 中级
分布式训练与资源
- SFT-061 数据并行的基本思路是什么？ · 中级
- SFT-062 模型并行解决什么问题？ · 中级
- SFT-063 ZeRO 的核心思想是什么？ · 中级
- SFT-064 FSDP 主要做什么？ · 中级
- SFT-065 CPU offload 有什么取舍？ · 中级
- SFT-066 如何发现数据加载瓶颈？ · 中级
- SFT-067 多卡训练如何避免数据重复？ · 中级
- SFT-068 如何估算训练显存？ · 中级
- SFT-069 分布式训练卡住如何排查？ · 高级
- SFT-070 训练效率应该报告哪些指标？ · 中级
评测、偏好优化与遗忘
- SFT-071 为什么不能只看训练 loss？ · 中级
- SFT-072 微调中如何监测和缓解灾难性遗忘？ · 中级
- SFT-073 DPO 需要什么数据？ · 中级
- SFT-074 DPO 与 SFT 的目标有什么区别？ · 中级
- SFT-075 奖励模型可能被怎样利用？ · 中级
- SFT-076 如何评测格式遵循能力？ · 中级
- SFT-077 微调后拒答过多怎么办？ · 中级
- SFT-078 如何检测训练数据记忆复述？ · 中级
- SFT-079 微调效果需要统计显著性吗？ · 高级
- SFT-080 如何选择最终检查点？ · 中级
适配器部署与服务
- SFT-081 部署 LoRA 需要携带哪些信息？ · 高级
- SFT-082 多适配器服务有哪些优势？ · 高级
- SFT-083 适配器热加载如何保证安全？ · 高级
- SFT-084 合并部署与动态适配器如何选择？ · 高级
- SFT-085 训练与推理模板不一致如何诊断？ · 高级
- SFT-086 微调模型如何灰度上线？ · 高级
- SFT-087 适配器可以迁移到另一基座版本吗？ · 高级
- SFT-088 部署后效果下降如何定位？ · 高级
- SFT-089 如何监测模型漂移？ · 高级
- SFT-090 如何回滚微调版本？ · 高级