强化学习与对齐
【GRPO奖励设计】GRPO的reward是每一条序列一个还是每个token一个？ 「京东」
原题【PPO returns定义】大模型里面的PPO，returns是什么？ 「字节跳动」
原题【PPO损失组成】抛开实际应用场景，PPO算法的损失包含哪几部分？ 「腾讯」
原题【PPO裁剪系数】你说用了PPO，那具体的clip系数设置多少？ 「美团」
原题【DAPO KL散度】DAPO 如何处理 KL 散度惩罚？ 「字节跳动」
原题【DAPO动态采样】DAPO的动态采样为什么能提升训练效率？ 「字节跳动」
原题【DecoupledPPO】DecoupledPPO？ 「蚂蚁集团」
原题【GRPO】GRPO原理、公式推导、优势计算、损失函数、奖励设计、熵与样本理解、group大小影响、改进点、细节、初始loss为0原因、batch size影响、采样与相对优势。详细讲解GRPO的公式、原理和训练流程，包括KL散度的计算方法。 「京东、字节Seed、字节跳动、百度、美团、腾讯、蚂蚁集团、阿里巴巴」
原题【GRPO/DAPO组处理】DAPO/GRPO 如何处理全对（全1）或全错（全0）的 group？ 「字节Seed、字节跳动」
原题「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴」
GRPO、DPO、DAPO区别是什么？
GRPO与DPO、PPO的区别、优劣势，以及是否了解GRPO并有相关训练经验？
GRPO与PPO在RLHF中的核心区别是什么？GRPO相比PPO有哪些改进和优缺点？为什么GRPO可以不单独使用Critic？GRPO在稳定性或样本效率上有什么区别？什么情况下使用GRPO效果会不好？GRPO相比PPO、DPO的优势是什么？
DAPO相比GRPO的核心改进是什么？
GRPO相比传统RL或SFT的优势在哪里？
原题完整原题
【GRPO/DPO/PPO比较】GRPO、DPO、DAPO区别是什么？GRPO与DPO、PPO的区别、优劣势，以及是否了解GRPO并有相关训练经验？GRPO与PPO在RLHF中的核心区别是什么？GRPO相比PPO有哪些改进和优缺点？为什么GRPO可以不单独使用Critic？GRPO在稳定性或样本效率上有什么区别？什么情况下使用GRPO效果会不好？GRPO相比PPO、DPO的优势是什么？DAPO相比GRPO的核心改进是什么？GRPO相比传统RL或SFT的优势在哪里？ 「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴」
暂无题目