后训练综合问答题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集 题目目录87 道原题隐藏关联题目排序默认排序面经最多11RLHF 完整流程？为什么 SFT 不够？原题 关联题目经典 RLHF 的三个阶段分别是什么，各阶段的输入、输出和目标是什么？模型训练与对齐 / 偏好对齐原理机制进阶0篇相关面经关联题目RLHF 相比 SFT 解决哪些对齐问题，为什么仅靠 SFT 往往不够？模型训练与对齐 / 偏好对齐比较选型进阶0篇相关面经12PPO 完整目标函数？每项作用？原题 关联题目PPO 算法原理是什么？已有答案模型训练与对齐 / 强化学习与奖励原理机制进阶9篇相关面经13GAE 为什么重要？原题 关联题目GAE 优势函数如何计算，关键参数有什么作用？模型训练与对齐 / 强化学习与奖励原理机制深入1篇相关面经14DPO 怎么从 RLHF 推出来？原题 关联题目如何从 KL 约束的强化学习目标推导 DPO 目标？模型训练与对齐 / 偏好对齐原理机制深入1篇相关面经15DPO 的 β 作用？核心缺陷？原题 关联题目DPO 的算法原理是什么？已有答案模型训练与对齐 / 偏好对齐原理机制进阶4篇相关面经16GRPO 和 PPO 本质区别？原题 关联题目GRPO 相比 PPO 做了哪些改进？已有答案模型训练与对齐 / 强化学习与奖励比较选型进阶8篇相关面经17GRPO 为什么会梯度真空？原题 关联题目组内样本全对或全错有什么问题，DAPO 如何处理？模型训练与对齐 / 训练数据构建与治理原理机制进阶1篇相关面经18DAPO 对 GRPO 做了哪些改进？（字节最高频）原题 关联题目GRPO 和 DAPO 有什么区别？模型训练与对齐 / 强化学习与奖励比较选型进阶1篇相关面经19GSPO 为什么比 GRPO 更适合 2025-2026？原题 关联题目GSPO 的核心机制是什么，与 GRPO 有什么关系？模型训练与对齐 / 强化学习与奖励原理机制进阶2篇相关面经20DeepSeek R1 核心创新？原题 关联题目DeepSeek-R1 的主要技术贡献是什么？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经暂无题目共 87 道原题 · 显示 11–20 道展开全部87题上一页12345…92 / 9下一页