Rollout 阶段 GPU 利用率低时,如何区分等待与计算并改进批调度?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

2 篇

拼多多

大模型研发
一面
查看原面经 →
追问
面:整条链路里,rollout 占多少时间。
追问
面:GPU 利用率多少。
追问
面:为什么这么低。
追问
面:那你怎么不按长度分桶。
追问
面:为什么不大。
追问
面:换个问法。这 35% 里,有多少是等,有多少是算。
追问
面:等什么。

月之暗面

大模型算法
一面、二面
查看原面经 →
如果 rollout 阶段 GPU 利用率只有 30%,瓶颈可能在哪。

相关题目

4 题