AI系统与训练推理工程
【K8s Gang Scheduling】在K8s上部署大模型训练时遇到Pod调度死锁或资源碎片，如何用Gang Scheduling解决？ 「腾讯混元」
原题【MCCL优化分享准备】如果让你给团队做一场关于摩尔线程GPU通信库MCCL优化的分享，你会怎么准备内容 「腾讯混元」
原题【Megatron与DeepSpeed源码】你看过metragon和deepspeed的源码吗？ 「腾讯」
原题【MoE专家死亡检测】专家死亡检测? 「百度」
原题【NCCL通信优化】NCCL通信优化，如何避免GPU间通信成为瓶颈？ 「腾讯」
原题【pipeline active分析】为什么要去看fp32 pipeline active和bf16 pipeline active? 「阿里巴巴」
原题原题未提供 pipeline active 计数器的定义或采样口径。
【RL分布式调度】RL训练中 rollout 和 actor update 如何分布式调度? 「字节跳动」
原题【RL训练框架对比】verl/AReaL/openRLHF区别? VeRL/Ray这类框架大致如何组织分布式RL? 「字节跳动、蚂蚁集团」
原题【TP/PP/DP并行】TP、PP、DP并行的区别与选型考量？给定8节点、每节点8卡、80GB H100，要训练70B级模型，应如何在TP/PP/DP间做第一版拓扑划分？ 「字节跳动、腾讯混元」
原题【Transformer训练加速】有哪些降低Transformer训练时间复杂度的工作？ 「字节跳动」
原题
暂无题目