多节点训练如何避免全量搬运 Rollout 路由数据?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

阿里巴巴

AI Infra
一面
查看原面经 →
扩展至多节点环境,额外路由数据会放大通信开销的原因
追问
训练节点只需要部分数据,如何规避rollout数据全量搬运

相关题目

4 题