多机大模型训练被慢 GPU 节点拖累时,如何定位并设计硬件监控采集?

未标记

Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~

问 AI
本题目录

相关面经

1 篇

MiniMax

AI Infra 平台研发
二面
查看原面经 →
场景题:联合业务方,会使用几千卡的一个任务去跑大模型训练,几千卡的机器里面有好有坏,某个gpu里面可能出现了慢节点,由于水桶效应,导致整个任务都被拖慢,有没有好的思路能帮我们快速定位到是哪一个节点出了问题?如果需要部署硬件采集,你会去做哪些事情?采集架构怎么设计?

相关题目

4 题