PPO 等偏好优化为何可能收敛到单一回答，如何保持输出多样性？

• 【熵坍塌】熵坍塌是什么现象，如何判断，以及在RL训练中如何解决？ 「百度、美团、阿里巴巴」

• 【RL训练异常定位】遇到 reward 异常、熵崩溃、显存不足或吞吐下降时，能不能定位原因？ 「字节Seed」

GRPO训练问题与现象： 「字节跳动、百度、美团、腾讯、阿里巴巴」

• GRPO的rollout没多样性，怎么办？
• GRPO训练出现熵崩怎么办？做GRPO遇到熵崩没有？

论文介绍 介绍论文（包括但不限于：RiskQ、Diff-IGM、SP、AAAI论文、NLP方向论文等）。具体要求：

• 介绍熵崩溃现象；

• RL过程中的熵崩具体指什么，如何缓解熵崩

• 在 PPO 中，如何防止模型在微调数据集以外的问题上泛化能力下降？如何防止模型收敛到单一类型的高奖励回答？

• 什么是模型熵坍塌？如何诊断、定位原因并进行缓解？