AI系统与训练推理工程
【流水线并行bubble】流水线并行中的 bubble 是什么? 「字节Seed」
原题【流水线并行通信内容】流水线并行中的通信内容是什么? 「字节Seed」
原题【流水线并行通信原语】流水线并行通过哪些通信原语进行通信? 「字节Seed」
原题【混合精度计算】请解释AI-HPC中的混合精度计算。 「百度、腾讯」
原题【训练框架选择】用什么方式什么训练框架训练模型。 「京东」
原题【通信原语】有哪些通信原语?集合通信原语有哪些？ 「字节Seed」
原题【Adapter权重合并梯度爆炸】合并adapter权重的时候有没有遇到梯度爆炸？ 「美团」
原题【AllReduce算法对比】NCCL/MCCL集合通信中Ring AllReduce与Tree AllReduce的带宽与延迟差异 「腾讯混元」
原题【AllReduce通信量计算】有4块卡，数据被切成了4份，每个卡上有一份数据，设一次通信量是x，如果要实现一次All Reduce操作，需要多少通信量？ 「阿里巴巴」
原题【ColossalAI并行维度】ColossalAI有1D/2D/2.5D/3D，是什么情况？ 「腾讯混元」
原题
暂无题目