从 SFT 到 RL 与 PPO
3 道题目查看参考回答收起参考回答
SFT主要学习高质量示范：给定上下文，提高目标回答或动作序列的概率。RL则在当前策略实际生成或交互的轨迹上，根据奖励优化期望结果。SFT后使用RL，通常是因为示范模仿已建立基本能力，但仍需要优化多种可行路径下的终局成功、偏好或复杂约束，而且有可靠奖励和足够交互预算。
它不是固定必经流程。数据、模板或损失有问题时先修SFT；任务已达标时可以不做RL。SFT也能泛化与学习推理，RL也可能只学到评分捷径，不能简单称“一个记忆、一个思考”。
来源 · 2 篇面经 · 6 份题集收起来源
SFT 与 Agentic RL 怎样配合？
【SFT局限性】比较难接的一问：SFT不够用吗？ 「百度文心」
2.实习提问：为什么要用rl来优化模型，在sft的时候遇到了哪些问题，又是怎么解决的？
6. 大模型训练为什么必须拆分SFT预微调+RL强化优化两个阶段，能否简化流程？
为什么 SFT 之后还要进行后训练
为什么 Step-level SFT 之后再进行 GRPO，通常比直接从基座模型开始做 GRPO 稳定？
查看参考回答收起参考回答
在常见PPO式RLHF中，Actor是要优化的语言模型，负责生成回答；Reward Model评价回答的偏好质量；Critic预测当前前缀未来能得到的回报，帮助计算优势并降低更新方差；Reference Model通常是冻结的初始SFT策略，用来衡量Actor偏离起点的程度。
KL约束抑制策略为了追逐奖励而过度偏离参考分布，帮助保留原有行为并减轻奖励模型被过度利用。但KL小不等于答案正确，也不能彻底消除reward hacking。
来源 · 2 篇面经 · 5 份题集收起来源
【奖励模型角色】Reward Model在训练中扮演了什么角色？ 「百度文心」
5. GRPO公式推导；PPO四大组成模型
面试问题：RLHF 中 reward model、PPO、KL penalty 分别解决什么问题？
面试问题：Verifier、Reward Model、Critic、Judge Model 的目标函数有什么区别？
在RLHF的第三阶段，PPO是最主流的强化学习算法。为什么选择PPO，而不是其他更简单的策略梯度算法（如REINFORCE）或者Q-learning系算法？PPO中的KL散度惩罚项起到了什么关键作用？
查看参考回答收起参考回答
PPO 是一种策略梯度优化方法，目标是提高获得较好回报的动作概率，同时减少策略一次变化过大带来的不稳定。以常用的 PPO-Clip 为例，训练反复进行四步：
- 用当前策略采样一批交互轨迹，保存动作、奖励和采样时的动作概率。
- 估计每个动作的优势，判断它相对当前状态下的预期表现好多少；常见 Actor-Critic 实现利用价值函数和
GAE估计。 - 计算新策略与采样旧策略的动作概率比，用裁剪代理目标更新策略，削弱沿有利方向过度更新的收益。
- 拟合价值函数，完成有限轮小批量更新后，再用新策略采样。
裁剪作用在优化目标里，不是把模型参数或所有动作概率强行锁在一个区间。它也不保证训练每一步都改善，实践中还要观察 KL、优势和价值拟合等情况。
来源 · 7 篇面经 · 10 份题集收起来源
【PPO、强化学习、损失函数｜L3】PPO实现细节，核心思想，损失函数。 「字节跳动」
PPO的原理?从维护的四个model讲,再详细讲一下训练流程和损失函数各个参数含义?
PPO 完整目标函数？每项作用？
【PPO原理与细节】详细介绍PPO的原理，包括整体训练流程、数据、如何训练奖励模型、每个模型的损失函数、在几张卡上训练？解释PPO里重要性采样、clip函数的作用，DAPO对clip做了什么优化？输入和输出是什么？PPO的训练的loss是怎么融入到PPO的训练过程中的？为什么论文都是这种数据组织方式？和联网搜索相比有什么优点？轨迹新旧混杂情况怎么解决的？（追问）PPO中的奖励函数设计对最终模型表现有什么影响？ 「字节Seed、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
PPO的原理
Proximal Policy Optimization (PPO)
面试问题：PPO 在 RLHF 中起什么作用？
介绍一下 grpo 训练流程、ppo loss 公式，新概率比老概率大很多且优势为负时被 clip 掉需要学习吗
21. PPO clipped objective 的数学意义是什么？
8.3 QA：近端策略优化（proximal policy optimization，PPO）
DPO 原理与对比
2 道题目查看参考回答收起参考回答
DPO（Direct Preference Optimization，直接偏好优化）利用同一问题下的优选回答与劣选回答，直接优化策略模型对这对回答的相对偏好。它把带参考策略 KL 正则的奖励最大化目标，转化成可用监督学习方式训练的偏好分类损失，不需要先单独训练一个显式奖励模型，再执行标准 PPO 的在线采样更新循环。
来源 · 2 篇面经 · 14 份题集收起来源
【RLHF、PPO、DPO、损失函数｜L3】讲一下RLHF的流程，写一下PPO和DPO的LOSS表达式。 「阿里通义」
DPO 里的 $\beta$ 到底控制什么？
dynamic beta 到底在缓解什么问题？
【DPO变种与KL散度】DPO变种了解嘛，DPO的KL散度是如何定义的？DPO是如何choose和reject的？ 「腾讯」
【多模态DPO训练】多模态的DPO的训练是如何做的？如何构造数据？ 「百度」
DPO的微调流程
Direct Preference Optimization (DPO)
3. 单正例搭配多负例的DPO训练，模型能否学习负样本之间优劣排序？
3. 3.为什么要做dpo
2. 题目二：DPO的完整训练流程推导，从数据准备到梯度更新
3.dpo的损失函数
什么任务适合DPO
讲一下 DPO 的损失函数怎么计算
面试问题：DPO 如何把偏好学习转化为分类式损失？
查看参考回答收起参考回答
在大模型偏好对齐中，DPO 直接从“同一问题下哪条回答更好”的偏好对优化策略；PPO 则用采样、奖励和优势估计进行策略梯度更新。 PPO 是更一般的强化学习优化方法，这里比较的是经典离线 DPO 与常见 PPO-based RLHF 流程。
- 数据流程不同：
DPO使用问题、优选回答和较差回答组成的数据集，标准训练阶段不必反复在线生成回答；PPO随策略更新收集新样本，再根据奖励反馈学习。 - 模型职责不同：
DPO无需单独训练显式奖励模型和 Critic，通常保留参考策略；常见PPORLHF则有策略、价值估计、奖励和参考策略等角色，部分实现可以共享参数。 - 目标不同：
DPO学习相对参考策略的偏好差距；PPO用优势与新旧策略概率比构造裁剪目标。PPO的裁剪和RLHF中的参考策略 KL 是不同机制。
有高质量偏好对、希望简化对齐流程时，可以先考虑 DPO；需要持续探索并根据环境或任务奖励更新时，可以考虑 PPO 等在线方法。选择仍取决于数据、奖励可靠性和资源，不能只凭“更简单”推断质量一定更高。
来源 · 6 篇面经 · 12 份题集收起来源
DPO 与 PPO 的理论对比
介绍DPO;DPO与PPO的区别
什么时候会优先用 DPO，而不是直接上 RLHF？
【DPO应用与设计】在DPO偏好对齐中，如何选择不同的reward或其他层面的偏好对齐依据？为什么选择DPO而非PPO，为什么选择Qwen而非其他模型？数据如何构建，实验如何对比？ 「百度、阿里巴巴」
分析一下DPO和PPO的区别
RLHF流程复杂且不稳定。近年来出现了一些替代方案，例如DPO。请解释DPO的核心思想，并比较它与传统RLHF（基于PPO）的主要区别和优势。
Why did DPO displace PPO-based RLHF at many labs? When is online RL still better?
面试问题：DPO 与 RLHF/PPO 的区别是什么？
问题1：PPO 和 DPO 有什么区别？
11.DPO和PPO，DPO和PPO有什么区别？
RLHF流程复杂且不稳定。近年来出现了一些替代方案，例如DPO。请解释DPO的核心思想，并比较它与传统RLHF（基于PPO）的主要区别和优势。
大模型的 DPO 和 PPO 的区别是什么？
GRPO 原理与改进
2 道题目查看参考回答收起参考回答
GRPO（Group Relative Policy Optimization，组相对策略优化）是一种训练语言模型的强化学习方法：对同一个问题采样多份回答，用组内奖励的相对差异估计优势，再更新生成策略。它沿用 PPO 类的受约束策略更新，但不需要额外学习一个价值函数来估计基线。
按原始的结果奖励形式，一轮训练可以概括为：
- 用采样时的旧策略，对每个问题生成一组回答。
- 用规则或奖励模型评分，将每份回答的分数与同题组内均值比较，并按组内标准差归一化，得到相对优势。
- 计算当前策略与旧策略的 Token 概率比，用裁剪目标限制过度更新；原论文还加入相对参考策略的 KL 惩罚。
- 通过梯度更新模型，再用更新后的策略采样，继续训练。
它省掉的是 critic 的学习与相关开销；多回答采样、奖励计算和策略训练仍然需要资源。GRPO 是参数训练算法，不是推理时让多个答案投票。
来源 · 8 篇面经 · 5 份题集收起来源
【GRPO】GRPO相关问题：1. 在训练GRPO时是否应该更新rollout的mllm？2. 多轮、长轨迹场景下GRPO可能存在的问题。3. 如何判断GRPO训练正常收敛，是否有Reward hacking？4. 如何在GRPO提升输出的可解释性？5. 如果强行用GRPO，奖励函数应如何设计？6. 代码实现GRPO全流程：如何组织rollout、reward、logprob、advantage、loss和update？7. 推导GRPO公式，重点说明Advantage的计算方式；为什么GRPO不需要Critic模型？8. 消除GRPO算法的高方差和不稳定性问题。9. 用GRPO做后训练过程中遇到的典型或较难的问题。10. 用GRPO训练MoE模型经常效果不好，为什么？11. 基于DAPO：为什么对于长CoT加更多权重就会有用？12. 改GRPO的工作和OPD的区别是什么？13. 怎么造高质量数据？怎么改GRPO？ 「京东、字节Seed、字节跳动、百度、美团、腾讯」
DeepSeek-R1-Zero中的强化学习(RL)的原理？
Group Relative Policy Optimization (GRPO)
面试问题：为什么 GRPO 要对同一问题采样多个回答并做组内奖励归一化？这对大语言模型推理能力训练有什么帮助？
3. GRPO 的训练目标通常包含什么？
查看参考回答收起参考回答
GRPO 的核心改动，是用同一问题多条回答的相对奖励构造优势，替代常见 PPO Actor-Critic 实现中的价值模型估计。 它保留策略梯度和裁剪更新的思路，主要改变“怎样判断这条回答比基线好多少”。
- 不再单独训练 Critic：减少价值网络及其训练状态的资源需求，也省去价值拟合这一步。
- 用组内比较形成学习信号：对同一问题采样多条回答，根据奖励相对组内均值的高低，增加较好回答的倾向、降低较差回答的倾向。
- 原始方案调整 KL 的加入方式：
DeepSeekMath将与参考策略的 KL 惩罚直接加入优化目标，与其对照PPO方案中的奖励塑形区分。
代价是每题需要生成一组回答，信号依赖奖励质量和组内差异。因此，减少 Critic 开销不代表总训练必然更快、更省，也不代表效果一定超过 PPO。
来源 · 6 篇面经 · 13 份题集收起来源
Describe the GRPO training objective used in DeepSeek-R1. How does it differ from PPO?
GRPO 相比 PPO 的核心价值是什么？
GRPO 和 PPO 本质区别？
【RLHF算法对比】请对比PPO、DPO、GRPO、DAPO、GSPO这五种RLHF算法，包括：各自的基本原理、目标函数/损失函数、优势函数公式、发展流程（如需要几个模型）、主要区别、各自的优缺点、为什么PPO的上限比DPO高、为什么要用GRPO、以及在实际工程中分别适合什么场景？ 「字节跳动、百度、百度文心、腾讯、腾讯混元、阿里巴巴」
你知道Deepseek的GRPO吗，它和PPO的主要区别是什么？优劣是什么？
2. 2.ppo和grpo的区别
2.GRPO有什么改进
6.八股：grpo和ppo的区别
GRPO 和 PPO 的区别在哪?GRPO 的优化目标函数怎么写?
GRPO 和 PPO 的区别
面试问题：GRPO 与 PPO 的数学差异是什么？为什么适合推理模型训练？
你知道Deepseek的GRPO吗，它和PPO的主要区别是什么？优劣是什么？
GRPO 和 PPO 的核心区别是什么？在信用分配、优势估计和方差控制上分别有什么差异？
奖励设计与 Reward Hacking
2 道题目查看参考回答收起参考回答
奖励函数要把任务成功转成可检查的反馈，同时约束成本、风险和投机行为。先定义真正的终局成功，再决定哪些中间进展值得奖励、哪些违规应直接判失败，最后处理各分量的尺度与权重。不能只优化“回答像完成了”或“操作次数少”。
对 GUI Agent，成功应由执行后的真实环境状态确认，例如订单记录、目标文件内容或后台业务字段，而不是模型自述和单张成功截图。训练时还要用独立的留出任务与业务成功率检查效果，避免奖励升高但任务能力下降。
来源 · 3 篇面经 · 9 份题集收起来源
项目:在使用 GRPO 提升大模型的Function Calling 能力时,除了结果奖励(outcome reward),还可以如何设计过程奖励(process reward)?
格式奖励一开始就加了吗？
怎么设计 Agent 的 reward？
【奖励系统设计】如何设计奖励系统（reward system）？与一般LLM的奖励系统有何区别？如何设计专业的奖励系统？同时考虑大模型Agent自动化评测的奖励体系设计。 「字节跳动、美团、腾讯」
在使用 GRPO 提升大模型的Function Calling 能力时，除了结果奖励(outcome reward)，还可以如何设计过程奖励(process reward)？
14. 奖励函数（Reward）是如何设计的？
9.阐述大模型在强化学习中的两种增强方式
9-2 QA：设计奖励存在什么主要问题？
Tool-use 强化学习中的内容奖励应如何设计？
查看参考回答收起参考回答
Reward Hacking 是策略找到了提高代理奖励的办法，却没有实现设计者真正希望达成的任务。例如奖励“工具调用成功”，模型可能反复调用一个无关但永远成功的工具；奖励“有推理步骤”，模型可能堆出步骤标记，却没有解决问题。这通常来自奖励、评分器或环境的漏洞，不需要假设模型有主观的作弊意图。
识别时把训练奖励与独立任务指标一起看：如果奖励上升，真实成功率、内容质量或用户价值没有改善，就要检查高分轨迹。定位时拆开每个奖励项，回放具体动作与状态，再验证是错误代理目标、评分器误判、样本泄漏还是环境漏洞。治理则修正对应环节，补充能区分真实成功和投机行为的反例，并在留出任务和旧问题上重新评估。增加 KL 或长度惩罚可以调节行为，但不能替代对错误奖励的修复。
来源 · 4 篇面经 · 19 份题集收起来源
如何解决 Reward Hacking 问题？
Reward hacking 在 Coding Agent 中有哪些具体形式？
Coding Agent 最容易出现哪些 reward hacking？
你怎么看 Agent benchmark 被 reward hack 这件事？
格式奖励太大会不会导致模型只会写格式不会解题？
Alignment Tax 和 Reward Hacking 有什么关系？
Reward Hacking 怎么防？
怎么防止 Agent 在评测集上学到了"看起来对"的捷径？
【回答质量判断】针对合适长度的回答怎么判断模型不是在凑字数钻空子得到的。 「蚂蚁集团」
【奖励黑客】Reward hacking是什么现象？请举例说明其成因和解决办法。从reward设计或reward model的角度，如何缓解reward hacking？如何避免奖励坍缩（reward collapse）和熵崩溃/熵爆炸？如果RewardModel打分出现奖励作弊（如模型生成重复或无意义但高分的内容），应如何排查和解决？另外，reward冲突和稀疏奖励问题如何解决？ 「字节跳动、阿里巴巴」
什么是"奖励作弊/奖励黑客"（Reward Hacking）？请结合一个具体的LLM应用场景给出一个例子，并探讨几种可能的缓解策略。
Your RLHF-trained LLM is gaming the reward model instead of being genuinely helpful. How do you fix reward hacking?
11.举一个自己的reward hawking例子
2. 项目中是否遇到过Reward Hacking问题，对应的识别与解决方案？
Agent强化学习场景Reward Hacking问题高发的底层机理
16. 有没有遇到奖励作弊（Reward Hacking）？如何解决？
面试问题：为什么不能只用 reward score 评估大语言模型偏好优化算法？PPO、DPO、GRPO 等方法应如何评估？
8、多模态奖励系统中，奖励黑客（Reward Hacking）可能引发哪些训练崩溃风险？
什么是“奖励作弊/奖励黑客”（Reward Hacking）？请结合一个具体的LLM应用场景给出一个例子，并探讨几种可能的缓解策略。