AI系统与训练推理工程
【LoRA训练资源】LoRA 你用了多少卡？ 「美团」
原题【Megatron评价】Megatron行不行？ 「蚂蚁集团」
原题【Micro-Batch与Global Batch】Micro-Batch(MB)和GlobalBatch(GB)之间有什么区别？ 「阿里通义」
原题【Offload归属】Offload是用在Megatron还是ZeRO中？ 「阿里通义」
原题【Tensor并行与数据并行区别】解释Tensor并行和数据并行的区别。 「蚂蚁集团」
原题【torchrun】torchrun是做什么用的？ 「阿里通义」
原题【TT与TP概念】大模型训练中的TT、TP是什么？ 「京东」
原题来源未展开 TT。
【verl框架】verl是什么？ 「蚂蚁集团」
原题【ZeRO三个阶段】论文用DeepSpeed，三个Stage(ZeRO-1/2/3)分别是什么？ 「字节跳动」
原题【分布式并行策略】分布式训练中有哪些并行策略？针对大模型参数规模很大的情况，常见策略包括Tensor Parallel、Pipeline Parallel、Data Parallel等，请列举并简要说明。 「字节跳动、腾讯、阿里巴巴」
原题
暂无题目