AI系统与训练推理工程
【VeRL代码】是否看过VeRL的代码实现？核心模块有哪些？ 「字节跳动」
原题【ZeRO-3通信原语】ZeRO-3中，详细介绍通信原语(All-Gather，Reduce-Scatter，All-Reduce) 「阿里通义」
原题【ZeRO与3D并行】有了ZeRO系列，为什么还需要3D并行？ 「腾讯混元」
原题【单机到分布式扩展设计】假设你需要将一个单机训练的模型扩展到分布式训练，你会如何设计？ 「京东」
原题【多模态大模型通信开销优化】在分布式训练多模态大模型时，如何处理多机多卡间的通信开销？ 「腾讯」
原题【大模型并行策略设计】64卡训练70B模型，应该怎么设计并行策略？请给出具体配置，并说明面试中如何回答最稳妥。 「阿里通义」
原题【大模型训练成本优化】如何优化大模型训练的成本？如何在有限资源下训练大模型？ 「蚂蚁集团」
原题【大规模AI基础设施项目】详细描述你参与过的千卡级或大规模AI训练/推理基础设施建设项目。 「腾讯混元」
原题【大规模训练经验】描述你参与过的最大的训练任务，以及遇到的挑战。 「蚂蚁集团」
原题【异步Checkpoint】训练过程中因节点故障触发Checkpoint恢复，如何设计异步Checkpoint降低存储IO对训练的阻塞？ 「腾讯混元」
原题
暂无题目