MoE 的路由重放为什么能缓解 Rollout 与训练侧的路由不一致?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

2 篇

阿里巴巴

AI Infra
一面
查看原面经 →
路由重放可以缓解rollout与训练侧MoE路由不一致的原理

字节跳动

大模型算法
暑期实习一面
查看原面经 →
GRPO在训练moe模型时候,出现rollout和训练的专家路由不一样的原因是什么,这个问题的解决方案有什么

相关题目

4 题