MoE 负载均衡损失与专家路由塌缩有什么关系,如何稳定路由?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
6 篇公司未注明
算法岗位校招秋招
有一场面试,面试官问我 KL 散度的 K1、K2、K3,接着又追问为什么选择 GSPO,以及 MoE 训练中路由变化、负载均衡会带来什么问题。
MiniMax
AI 应用开发实习一面
字节跳动
推荐大模型算法岗一面、二面
百度
大模型算法工程师一面
MoE 的负载均衡损失为什么可能导致专家路由塌缩?如何设计更稳定的路由机制?
MiniMax
AI Infra 实习生实习一面
展开剩余 1 篇面经
百度
强化学习算法二面
如何解决MoE中的专家退化问题?
收录题集
算法岗专项面试题
公司案例问答汇编
后训练章节追问
后训练综合问答
预训练与架构
DeepSeek与MoE架构 DeepSeek系列模型结构、创新与训练技术:包括MoE架构(细粒度专家、共享专家、负载均衡、训练不稳定解决)、GRPO、MLA(含RoPE设计)、MTP(Multi-Token Prediction)、token丢弃机制、V3结构伪代码、V4创新;
MoE架构与优化

