返回全部题目← 上一题60 / 114下一题 →题库/模型训练与对齐/Q-5600分布式训练的集合通信量如何估算，怎样实现计算通信重叠？知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：深入收录题集：3 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集3 份AI Infra 面试指南阿东玩 AI · AgentGuide · 1 条原题查看题集 →AllReduce 与 All-to-All 分别在哪些场景成为瓶颈？AI系统与训练推理工程阿东玩 AI · AgentGuide · 10 条原题查看题集 →【AllReduce通信量计算】有4块卡，数据被切成了4份，每个卡上有一份数据，设一次通信量是x，如果要实现一次All Reduce操作，需要多少通信量？ 「阿里巴巴」【DDP通信优化】DDP 的 gradient bucket 和 overlap 通常是如何隐藏通信开销的? 「字节跳动」【多机训练效率】为什么多机训练效率不如单机？请分析多机训练效率低下的原因。 「腾讯混元」展开其余 7 条原题【张量并行通信开销】TP开大为什么可能导致训练变慢?TP中通信开销来自哪里? 「字节跳动」【张量并行通信次数】TP的allreduce的次数是多少？请分析张量并行中通信次数与模型结构的关系。 「阿里巴巴」【集合通信与开销】通信(reduce、gather、开销考虑)与通信开销比？额外开销有多大？高到什么程度？ 「字节Seed、腾讯」【FSDP与HSDP通信对比】4机32卡H200训练从FSDP换成HSDP，通信时间会减少多少？ 「字节跳动」【NCCL通信优化】NCCL通信优化，如何避免GPU间通信成为瓶颈？ 「腾讯」【多模态大模型通信开销优化】在分布式训练多模态大模型时，如何处理多机多卡间的通信开销？ 「腾讯」【通信算子与策略选择】在 AI 训练场景中，分布式训练常面临通信瓶颈问题。请说明 AllReduce、Broadcast、ReduceScatter 这三种核心通信算子的适用场景差异，并分析在千亿参数大模型训练中，如何选择通信策略以降低延迟、提升吞吐量? 「腾讯」AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →如何估算 All-Reduce/All-to-All 通信量并实现计算通信重叠？拓扑和 RDMA 如何影响结果？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题如何用 Roofline 与性能剖析定位和优化 GPU 算子瓶颈？下一题 →训练流水线并行的空泡如何形成，常见前后向调度如何减少它？
