强化学习与对齐
为什么PPO不是离线的？ 「腾讯」
原题为什么PPO公式中除了Clip之外，还需要再计算一次mean？ 「字节跳动」
原题为啥PPO叫PPO？ 「京东」
原题什么场景下会回退使用PPO？ 「字节跳动」
原题什么是staleness？Staleness-Aware Decoupled PPO如何兜住？ 「蚂蚁集团」
原题介绍DAPO、GRPO的目标函数。 「阿里巴巴」
原题原题没有给出个人方法的定义，无法确认是否涉及独立的新算法。
介绍实习中用到的蒙特卡罗树，对比GRPO呢？
它本身也可以thinking，cot的数据是怎么构造的，最初的是哪来的？模型自己生成，为什么不用更高维的模型生成数据？原有模型会有固定的思考方式，会影响效果，这种方式是自己想的还是改进的？
原题完整原题
介绍实习中用到的蒙特卡罗树，对比GRPO呢？它本身也可以thinking，cot的数据是怎么构造的，最初的是哪来的？模型自己生成，为什么不用更高维的模型生成数据？原有模型会有固定的思考方式，会影响效果，这种方式是自己想的还是改进的？ 「百度」
强化学习的发展历程，详细介绍PPO各个流程以及损失函数，GAE主要解决什么问题？
写出PPO的算法公式，解释损失函数各部分（如clip、ratio、advantage、returns等），核心思想是什么？
比较TRPO和PPO。
解释PPO在RLHF中的应用原理，讨论训练稳定性问题及解决方案。
强化学习的发展历程，
详细介绍PPO各个流程以及损失函数，GAE主要解决什么问题？
原题完整原题
写出PPO的算法公式，解释损失函数各部分（如clip、ratio、advantage、returns等），核心思想是什么？比较TRPO和PPO。解释PPO在RLHF中的应用原理，讨论训练稳定性问题及解决方案。强化学习的发展历程，详细介绍PPO各个流程以及损失函数，GAE主要解决什么问题？ 「字节跳动、百度、美团、腾讯、蚂蚁集团」
原题未提供“改GRPO的工作”的算法或实现细节。
GRPO相关问题：
「京东、字节Seed、字节跳动、百度、美团、腾讯」
在训练GRPO时是否应该更新rollout的mllm？
多轮、长轨迹场景下GRPO可能存在的问题。
如何判断GRPO训练正常收敛，是否有Reward hacking？
如何在GRPO提升输出的可解释性？
展开其余 9 个小问
如果强行用GRPO，奖励函数应如何设计？
代码实现GRPO全流程：如何组织rollout、reward、logprob、advantage、loss和update？
推导GRPO公式，重点说明Advantage的计算方式；为什么GRPO不需要Critic模型？
消除GRPO算法的高方差和不稳定性问题。
用GRPO做后训练过程中遇到的典型或较难的问题。
用GRPO训练MoE模型经常效果不好，为什么？
基于DAPO：为什么对于长CoT加更多权重就会有用？
改GRPO的工作和OPD的区别是什么？
怎么造高质量数据？怎么改GRPO？
原题完整原题
【GRPO】GRPO相关问题：1. 在训练GRPO时是否应该更新rollout的mllm？2. 多轮、长轨迹场景下GRPO可能存在的问题。3. 如何判断GRPO训练正常收敛，是否有Reward hacking？4. 如何在GRPO提升输出的可解释性？5. 如果强行用GRPO，奖励函数应如何设计？6. 代码实现GRPO全流程：如何组织rollout、reward、logprob、advantage、loss和update？7. 推导GRPO公式，重点说明Advantage的计算方式；为什么GRPO不需要Critic模型？8. 消除GRPO算法的高方差和不稳定性问题。9. 用GRPO做后训练过程中遇到的典型或较难的问题。10. 用GRPO训练MoE模型经常效果不好，为什么？11. 基于DAPO：为什么对于长CoT加更多权重就会有用？12. 改GRPO的工作和OPD的区别是什么？13. 怎么造高质量数据？怎么改GRPO？ 「京东、字节Seed、字节跳动、百度、美团、腾讯」
GRPO、DAPO、GSPO的对比与改进：
DAPO相比GRPO做了哪些改进？列举创新点，并说明GRPO的缺陷及DAPO如何改进。
DAPO把零奖励样本剔除后，会不会限制模型学习困难样本？解决思路？
GRPO和GSPO分别做了什么优化？区别是什么？
GSPO和GRPO的gap怎么理解？实际训练时为什么GSPO效果更优？两者显存占用如何？
GSPO相比GRPO，在长序列推理任务（数学证明、代码生成）中如何缓解方差过大？
了解GRPO、DAPO、GSPO的详细改进。
原题完整原题
【GRPO/DAPO/GSPO对比】GRPO、DAPO、GSPO的对比与改进：1. DAPO相比GRPO做了哪些改进？列举创新点，并说明GRPO的缺陷及DAPO如何改进。2. DAPO把零奖励样本剔除后，会不会限制模型学习困难样本？解决思路？3. GRPO和GSPO分别做了什么优化？区别是什么？4. GSPO和GRPO的gap怎么理解？实际训练时为什么GSPO效果更优？两者显存占用如何？5. GSPO相比GRPO，在长序列推理任务（数学证明、代码生成）中如何缓解方差过大？6. 了解GRPO、DAPO、GSPO的详细改进。 「字节Seed、字节跳动、拼多多、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
暂无题目