AI系统与训练推理工程
【同步与异步更新】如何处理分布式训练中的同步和异步更新？ 「蚂蚁集团」
原题【多卡通信技术】多机多卡分布式训练的通信问题与整体了解。多卡协同、卡间通信、NVLink、RDMA？ 「阿里巴巴」
原题【多机训练效率】为什么多机训练效率不如单机？请分析多机训练效率低下的原因。 「腾讯混元」
原题【并行策略与算法】解释数据并行(DDP)、张量并行(TP)、流水线并行(PP)和序列并行(SP)的区别及应用场景。讲讲并行训练的一些算法，数据并行、流水线并行、张量并行，ZeRO算法等。（追问）显卡使用分布和并行处理是怎样的？除了3D并行有没有其他方式大规模训练？额外加哪些并行训练？ 「字节Seed、字节跳动、腾讯、腾讯混元」
原题【并行策略区别与部署实践】分布式训练数据并行、模型并行、流水线并行的区别，阿里大模型训练如何部署？请分析三种并行策略的区别及阿里大模型部署实践。 「阿里通义」
原题【并行策略原理与调整】DP PP TP的原理和使用场景，各个阶段怎么调整? 「腾讯」
原题【并行策略概念与实现】并行(dp/tp/pp/ep各自是什么，在vllm中如何实现)？ 「字节Seed」
原题【张量并行节点内放置】为什么TP通常放在节点内？请分析张量并行节点内放置的原因。 「阿里通义」
原题【张量并行通信开销】TP开大为什么可能导致训练变慢?TP中通信开销来自哪里? 「字节跳动」
原题【张量并行通信次数】TP的allreduce的次数是多少？请分析张量并行中通信次数与模型结构的关系。 「阿里巴巴」
原题
暂无题目