多机大模型训练被慢 GPU 节点拖累时,如何定位并设计硬件监控采集?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
问 AI
本题目录
相关面经
1 篇MiniMax
AI Infra 平台研发二面
场景题:联合业务方,会使用几千卡的一个任务去跑大模型训练,几千卡的机器里面有好有坏,某个gpu里面可能出现了慢节点,由于水桶效应,导致整个任务都被拖慢,有没有好的思路能帮我们快速定位到是哪一个节点出了问题?如果需要部署硬件采集,你会去做哪些事情?采集架构怎么设计?
Sorry o(╥﹏╥)o,暂无参考答案。带这道题,问问AI吧~
场景题:联合业务方,会使用几千卡的一个任务去跑大模型训练,几千卡的机器里面有好有坏,某个gpu里面可能出现了慢节点,由于水桶效应,导致整个任务都被拖慢,有没有好的思路能帮我们快速定位到是哪一个节点出了问题?如果需要部署硬件采集,你会去做哪些事情?采集架构怎么设计?