强化学习与对齐
【GRPO公式推导】共享屏幕写出来GRPO的每个计算步骤(大致公式)，并解释其中kl散度怎么计算的，adv函数怎么计算，token级别的损失怎么计算的。 「京东」
原题【GRPO对比与调优】谈论下GRPO相比DPO的优缺点，什么情况下二者几乎等同。（追问）你认为GRPO的局限性有哪些？如何克服？（追问）如何调优GRPO的超参数来改善训练效果？ 「腾讯」
原题GRPO损失计算细节：
手撕GRPO loss，讲各个tensor的shape。
GRPO公式中已有clip，为什么还需要mean计算？mean如何计算？如何改进？
GRPO和PPO计算KL散度的区别，KL散度的几种估计方法，放在reward里和loss里有什么区别？
GRPO的重要性采样为什么是p1/p0？为什么不是其他形式？
原题完整原题
【GRPO损失与张量形状】GRPO损失计算细节：1. 手撕GRPO loss，讲各个tensor的shape。2. GRPO公式中已有clip，为什么还需要mean计算？mean如何计算？如何改进？3. GRPO和PPO计算KL散度的区别，KL散度的几种估计方法，放在reward里和loss里有什么区别？4. GRPO的重要性采样为什么是p1/p0？为什么不是其他形式？ 「京东、字节跳动、蚂蚁集团、阿里巴巴」
【GRPO改进】你改进的GRPO是怎么改的，希望达到什么效果？ 「百度」
原题GRPO训练问题与现象：
「字节跳动、百度、美团、腾讯、阿里巴巴」
GRPO中当某个问题的所有采样都正确或错误时优势为0，导致梯度消失，降低样本效率。
GRPO信用分配问题。
GRPO样本级损失计算，在长CoT场景中对长序列的token贡献分配不均导致高质量样本学习不足、低质量样本惩罚不足。
GRPO每次用组最优的行为会有什么问题？
展开其余 5 个小问
GRPO的rollout没多样性，怎么办？
GRPO训练为什么loss会先上升再下降？
GRPO训练出来的模型倾向于输出很长的response是为什么？
GRPO训练出现熵崩怎么办？做GRPO遇到熵崩没有？
GRPO训练过程中，如果Group内所有样本的Reward都非常低，即全负样本，算法会如何更新？
原题完整原题
【GRPO训练现象】GRPO训练问题与现象：1. GRPO中当某个问题的所有采样都正确或错误时优势为0，导致梯度消失，降低样本效率。2. GRPO信用分配问题。3. GRPO样本级损失计算，在长CoT场景中对长序列的token贡献分配不均导致高质量样本学习不足、低质量样本惩罚不足。4. GRPO每次用组最优的行为会有什么问题？5. GRPO的rollout没多样性，怎么办？6. GRPO训练为什么loss会先上升再下降？7. GRPO训练出来的模型倾向于输出很长的response是为什么？8. GRPO训练出现熵崩怎么办？做GRPO遇到熵崩没有？9. GRPO训练过程中，如果Group内所有样本的Reward都非常低，即全负样本，算法会如何更新？ 「字节跳动、百度、美团、腾讯、阿里巴巴」
【GRPO训练问题】你怎么解决GRPO训练里出现reward全0的情况？ 「百度文心」
原题【GRPO长文本倾向】从GRPO公式角度来看，为什么会倾向于生成长篇大论？ 「阿里巴巴」
原题【PPO clip机制】PPO的clip机制如何工作？它解决什么问题？分情况讨论哪些token会在实际训练中贡献梯度？ 「百度、腾讯、阿里巴巴」
原题【PPO KL散度替代】PPO的KL散度可以改成交叉熵吗？ 「蚂蚁集团」
原题
暂无题目