MoE 的 Rollout 路由信息怎样记录并交给训练侧消费?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

阿里巴巴

AI Infra
一面
查看原面经 →
Rollout阶段的Top‑K路由信息如何记录,训练侧如何使用该信息
追问
路由数据的存储、传输、消费分别处于哪些环节

相关题目

4 题