RLHF 训练出现奖励塌缩时如何定位并恢复？

• RLHF 训练中出现 reward collapse 怎么诊断和处理？

• 【RL训练异常定位】遇到 reward 异常、熵崩溃、显存不足或吞吐下降时，能不能定位原因？ 「字节Seed」

• 【奖励不增长问题】Reward一直上不去该怎么办？ 「腾讯」

奖励黑客 另外，reward冲突和稀疏奖励问题如何解决？

• 如何避免奖励坍缩（reward collapse）和熵崩溃/熵爆炸？