返回全部题目← 上一题61 / 114下一题 →题库/模型训练与对齐/Q-5603训练流水线并行的空泡如何形成，常见前后向调度如何减少它？知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：深入收录题集：2 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集2 份AI系统与训练推理工程阿东玩 AI · AgentGuide · 8 条原题查看题集 →【流水线并行bubble】流水线并行中的 bubble 是什么? 「字节Seed」【PP微批次分配】PP=2时MB应该怎么分配？ 「阿里通义」【PP气泡比较】PP=4和PP=2哪个气泡多？ 「阿里通义」展开其余 5 条原题【朴素并行到Megatron流水并行】讲一下从朴素并行到Megatron的流水并行策略原理？请详细描述流水并行策略的演进和原理。 「字节Seed」【流水线并行参数调节】说一下pp，pp里的参数调节会怎么影响结果 「百度」【流水线并行时间与bubble率公式】流水线并行训练理想时间和 bubble 率的计算公式是什么？ 「字节Seed」【流水线并行气泡】为什么会产生bubble？请解释流水线并行中气泡产生的原因及影响。 「字节Seed」【流水线并行与气泡】PP bubble怎么优化？介绍Pipeline Parallelism (PP) 的原理，以及如何解决气泡问题？并给出气泡（bubble）的计算公式。 「字节Seed、阿里通义」AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 1 条原题查看题集 →流水线并行的 Bubble 从哪里来？1F1B、Zero-Bubble 与 DualPipe 如何调度？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题分布式训练的集合通信量如何估算，怎样实现计算通信重叠？下一题 →MoE 专家并行如何组织 Dispatch、专家计算与 Combine，并优化负载和通信？
