强化学习与对齐
「京东、字节跳动、百度、百度文心、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
PPO、DPO、GRPO、DAPO的改进与区别？PPO和GRPO的核心区别？
PPO和GRPO用的什么KL（有偏/无偏），作为reward shaping和trust region约束的本质区别？
PPO计算过程，GRPO计算过程，Value是什么？
PPO里GAE如何估计，和MC区别？
展开其余 10 个小问
RL中rollout采样次数如何设置？
RL的loss是什么，
奖励怎么设计？
奖励是最后统一计算还是分摊到每一步token？
rollout很贵时能否一批数据多次更新？off-policy问题？
Token-Level Policy Gradient Loss（针对长CoT的token级损失优化，直接对所有token损失求平均，确保每个token贡献更均衡）。
On-policy蒸馏和GRPO比，什么时候用蒸馏更合适？
SFT、RL、OPD区别和使用场景？
什么是熵坍缩？改进方法？
GRPO相较于PPO的改进？GRPO训练过程？GRPO存在的问题及后续改进？为什么选择GRPO而不是PPO？介绍GRPO的原理。
原题完整原题
【PPO与GRPO对比】PPO、DPO、GRPO、DAPO的改进与区别？PPO和GRPO的核心区别？PPO和GRPO用的什么KL（有偏/无偏），作为reward shaping和trust region约束的本质区别？PPO计算过程，GRPO计算过程，Value是什么？PPO里GAE如何估计，和MC区别？RL中rollout采样次数如何设置？RL的loss是什么，奖励怎么设计？奖励是最后统一计算还是分摊到每一步token？rollout很贵时能否一批数据多次更新？off-policy问题？Token-Level Policy Gradient Loss（针对长CoT的token级损失优化，直接对所有token损失求平均，确保每个token贡献更均衡）。On-policy蒸馏和GRPO比，什么时候用蒸馏更合适？SFT、RL、OPD区别和使用场景？什么是熵坍缩？改进方法？GRPO相较于PPO的改进？GRPO训练过程？GRPO存在的问题及后续改进？为什么选择GRPO而不是PPO？介绍GRPO的原理。 「京东、字节跳动、百度、百度文心、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
来源未说明比较的是训练数据、部署工具还是任务求解。
详细介绍PPO的原理，包括整体训练流程、数据、如何训练奖励模型、每个模型的损失函数、在几张卡上训练？
解释PPO里重要性采样、clip函数的作用，
DAPO对clip做了什么优化？
输入和输出是什么？PPO的训练的loss是怎么融入到PPO的训练过程中的？
为什么论文都是这种数据组织方式？
和联网搜索相比有什么优点？
轨迹新旧混杂情况怎么解决的？
（追问）PPO中的奖励函数设计对最终模型表现有什么影响？
原题完整原题
【PPO原理与细节】详细介绍PPO的原理，包括整体训练流程、数据、如何训练奖励模型、每个模型的损失函数、在几张卡上训练？解释PPO里重要性采样、clip函数的作用，DAPO对clip做了什么优化？输入和输出是什么？PPO的训练的loss是怎么融入到PPO的训练过程中的？为什么论文都是这种数据组织方式？和联网搜索相比有什么优点？轨迹新旧混杂情况怎么解决的？（追问）PPO中的奖励函数设计对最终模型表现有什么影响？ 「字节Seed、字节跳动、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」
PPO中优势函数（advantage）如何计算？
价值函数如何进行价值估计？
PPO整体训练流程中，critic model和reward model的区别？
PPO的critic model怎么训练？作用是什么？
PPO训练时需要哪几个模型（Actor、Reward、Critic、Ref）？各自作用？哪些模型可以共用？哪些模型更新时不变，哪些需要更新？
原题完整原题
【PPO模型与价值函数】PPO中优势函数（advantage）如何计算？价值函数如何进行价值估计？PPO整体训练流程中，critic model和reward model的区别？PPO的critic model怎么训练？作用是什么？PPO训练时需要哪几个模型（Actor、Reward、Critic、Ref）？各自作用？哪些模型可以共用？哪些模型更新时不变，哪些需要更新？ 「京东、字节Seed、字节跳动、百度、美团、腾讯、阿里巴巴、阿里通义」
【RLHF算法对比】请对比PPO、DPO、GRPO、DAPO、GSPO这五种RLHF算法，包括：各自的基本原理、目标函数/损失函数、优势函数公式、发展流程（如需要几个模型）、主要区别、各自的优缺点、为什么PPO的上限比DPO高、为什么要用GRPO、以及在实际工程中分别适合什么场景？ 「字节跳动、百度、百度文心、腾讯、腾讯混元、阿里巴巴」
原题【VERL框架适配DAPO】你觉得VERL框架如果用DAPO该改哪些地方？ 「字节Seed」
原题【CoT长度控制】追问3：增加惩罚项会导致无差别缩短平均CoT长度，但复杂场景下需要CoT更长才能保证推理效果，怎么办？ 「字节Seed」
原题【DAPO完整实现】手撕DAPO整个过程，包括奖励函数、组内均值、优势函数以及loss，外部套一层动态采样；原记录未说明是否包含Soft IoU计算。部分场次要求手撕DAPO，未写出则需打开论文对着公式详细讲并提问clip的作用。 「京东、字节跳动」
原题【GRPO训练流程设计】针对推理链BadCase，如果想用GRPO来解决，完整的训练流程应该如何设计？ 「字节跳动」
原题介绍DPO（Direct Preference Optimization）的原理、适用任务及与SFT的关系。变体：
「京东、字节跳动、美团」
为什么要用DPO，只做SFT不行么？
什么任务适合DPO？
介绍DPO。
在项目中你用过DPO吗？
原题完整原题
【DPO原理与应用】介绍DPO（Direct Preference Optimization）的原理、适用任务及与SFT的关系。变体：1. 为什么要用DPO，只做SFT不行么？2. 什么任务适合DPO？3. 介绍DPO。4. 在项目中你用过DPO吗？ 「京东、字节跳动、美团」
介绍并对比DPO、PPO、GRPO、REINFORCE等强化学习算法。
介绍DPO、PPO、GRPO算法。
除DPO外了解的强化学习算法：如PPO、GRPO、REINFORCE等。
原题完整原题
【强化学习算法对比】介绍并对比DPO、PPO、GRPO、REINFORCE等强化学习算法。变体：1. 介绍DPO、PPO、GRPO算法。2. 除DPO外了解的强化学习算法：如PPO、GRPO、REINFORCE等。 「百度、美团、蚂蚁集团」
暂无题目