返回全部题目← 上一题43 / 114下一题 →题库/模型训练与对齐/Q-4883数据并行训练如何工作，怎样提高其效率？知识专题：分布式训练与计算硬件题目类型：原理机制技术难度：进阶收录题集：8 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集8 份AI系统与训练推理工程阿东玩 AI · AgentGuide · 4 条原题查看题集 →【DDP原理】问我用的什么分布式训练方法，然后让我介绍DDP。 「百度」【Tensor并行与数据并行区别】解释Tensor并行和数据并行的区别。 「蚂蚁集团」【数据并行原理与优缺点】解释数据并行(DataParallelism)的工作原理及其优缺点。 「蚂蚁集团」展开其余 1 条原题【DP并行负载均衡】做分布式部署，DP并行，只有rank0负载过高怎么办？请分析DP并行负载均衡问题及解决方案。 「阿里巴巴」AI 基础设施AMIT SHEKHAR · ai-engineering-interview-questions · 1 条原题查看题集 →What is model parallelism vs data parallelism in distributed training?字节跳动高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →3D 并行里 DP/DDP 你怎么理解；实际落地时通信瓶颈一般卡在哪些环节荣耀高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →八股：dp ddp tp等区别推理框架知识点Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →有哪些常见的AI模型分布式训练方式？张量并行、流水线并行、数据并行之间有什么区别？展开剩余 3 份题集计算机视觉基础Datawhale · daily-interview · 1 条原题查看题集 →Pytorch 多卡并行的时候怎么实现参数共享，通信梯度是指平均梯度，还是最大梯度，还是梯度总和？监督学习Datawhale · daily-interview · 1 条原题查看题集 →LR如何进行并行计算？分布式训练与资源Firefly · llm_interview_note · 5 条原题查看题集 →什么是 数据并行？数据并行 如何 提升效率？数据并行 vs 张量并行 vs 流水线并行?展开其余 2 条原题如果有N张显存足够大的显卡，怎么加速训练？分布式并行及显存优化技术并行技术有哪一些，都有什么特点？相关题目4 题0030DCU 与 GPU 有什么区别？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0031SIMT 有什么特点，遇到分支会发生什么？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇0032GPU 的存储层次和计算单元如何组织？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0033DCU 如何把数据传入寄存器，并在芯片上共享？同一知识专题题目类型：原理机制技术难度：进阶相关面经：1 篇♥♥♥♥♥← 上一题已到最后一题← 上一题什么是集体通信，常见操作各自完成什么工作？下一题 →如何组合 DP、TP 与 PP 进行 3D 并行，并按硬件拓扑配置？
