GRPO 训练 MoE 模型时可能出现哪些问题，应如何定位和改进？

• 项目:为什么GRPO在训练MOE时会出问题?原因是啥,怎么改进策略

DeepSeek与MoE架构 DeepSeek系列模型结构、创新与训练技术：包括MoE架构（细粒度专家、共享专家、负载均衡、训练不稳定解决）、GRPO、MLA（含RoPE设计）、MTP（Multi-Token Prediction）、token丢弃机制、V3结构伪代码、V4创新；

• MoE与Dense模型在RL训练中的差异及不稳定性原因。

GRPO GRPO相关问题： 「京东、字节Seed、字节跳动、百度、美团、腾讯」

• 用GRPO训练MoE模型经常效果不好，为什么？

• 为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略？