后训练：微调与对齐
什么是微调？与预训练、后训练、提示工程有什么关系？
原题大语言模型微调的目标有哪些？
原题全量参数微调与参数高效微调分别是什么？有什么区别？
原题大语言模型微调训练中的关键超参数有哪些？它们如何影响效果、成本和稳定性？
原题大语言模型微调后如何评估效果？
原题大语言模型监督微调数据如何构造？高质量 SFT 数据需要满足哪些要求？
原题大语言模型 SFT 中为什么通常只对助手回复计算损失？损失掩码应该如何设置？
原题大语言模型微调中如何避免过拟合和灾难性遗忘？
原题LoRA 的原理是什么？为什么适合大语言模型参数高效微调？
原题LoRA 的低秩矩阵 Rank 和 alpha 参数有什么作用？还有哪些关键参数？
原题LoRA 通常插入哪些位置？不同 target modules 有什么影响？
原题QLoRA 如何在 LoRA 基础上进一步节省显存？
原题LoRA 有哪些常见改进方案？如 LoRA+、AdaLoRA、DoRA 等分别解决什么问题？
原题Adapter 的原理是什么？它适合什么场景？
原题Prefix Tuning 的原理是什么？它适合什么场景？
原题Prompt Tuning 和 P-Tuning / P-Tuning v2 有什么区别？
原题Adapter、Prefix Tuning、Prompt Tuning、P-Tuning 和 LoRA 的核心区别是什么？
原题实际项目中如何选择不同的 PEFT 方法？
原题为什么大语言模型对齐训练会从近端策略优化（PPO）发展到直接偏好优化（DPO）和组相对策略优化（GRPO）？三者在奖励模型、训练稳定性和成本上有什么区别？
原题大语言模型后训练中组相对策略优化（GRPO）如何提升推理能力？为什么可以去掉价值（critic）？
原题为什么 GRPO 要对同一问题采样多个回答并做组内奖励归一化？这对大语言模型推理能力训练有什么帮助？
原题为什么 DAPO 被认为是对 GRPO 的改进？它在 clip、采样、loss 和训练稳定性上做了哪些优化？
原题VAPO 等新方法主要解决什么问题？它们如何改进长推理强化学习训练？
原题为什么不能只用 reward score 评估大语言模型偏好优化算法？PPO、DPO、GRPO 等方法应如何评估？
原题如何选择大语言模型微调框架？
原题大语言模型时代常见微调和后训练框架各有什么特点？
原题
暂无题目