AI系统与训练推理工程
【CPU-GPU通信瓶颈与优化】在分布式AI训练中，CPU和GPU之间的通信瓶颈是如何产生的？有哪些优化方法（如NCCL、RDMA）可以减少通信开销？ 「百度」
原题【DDP通信优化】DDP 的 gradient bucket 和 overlap 通常是如何隐藏通信开销的? 「字节跳动」
原题【DDP通信模式】中心DDP和P2P的通信过程是怎样的？请详细描述两种通信模式的流程和区别。 「字节Seed」
原题原文“中心 DDP”未说明指参数服务器还是框架数据并行。
「京东、字节跳动、腾讯混元、阿里巴巴、阿里通义」
讲一下DeepSpeed，DDP和FlashAttention。
知道DeepSpeed和Megatron吗？是否了解DeepSpeed？
deepspeed训练过程，报找不到主机。
介绍一下deepspeed的关键配置参数，及其含义?
多机训练不通，DeepSpeed配置问题。
原题完整原题
【DeepSpeed概述与故障排查】讲一下DeepSpeed，DDP和FlashAttention。知道DeepSpeed和Megatron吗？是否了解DeepSpeed？deepspeed训练过程，报找不到主机。介绍一下deepspeed的关键配置参数，及其含义? 多机训练不通，DeepSpeed配置问题。 「京东、字节跳动、腾讯混元、阿里巴巴、阿里通义」
【DP并行负载均衡】做分布式部署，DP并行，只有rank0负载过高怎么办？请分析DP并行负载均衡问题及解决方案。 「阿里巴巴」
原题【EP并行头拆分】用单卡做的工作还是多卡，多卡时有考虑ep并行的头拆分问题吗？ 「腾讯」
原题来源未说明 EP“头拆分”的具体含义。
【EP通信操作】ep的dispatch和combine 「阿里巴巴」
原题【Expert Parallel实现】ep 如何实现的? MoE 的 expert parallel 如何做的? 「美团、腾讯」
原题【FSDP版本对比】FSDP2和FSDP1的区别 「阿里巴巴」
原题【Gang Scheduling】Gang Scheduling(帮派调度)在AI训练场景中的必要性 「腾讯」
原题
暂无题目