GRPO 训练中为什么会出现回复变长，如何设计长度惩罚？

为什么 GRPO 训久了回复会变长，长度和正确率是正相关还是因果。

长度惩罚怎么加才不伤害推理能力。