AI系统与训练推理工程
llm训练资源多少，并行方式如何，你训练了多久，
调整了哪些参数，
训练过程中有遇到什么问题吗？
原题完整原题
【LLM训练经验】llm训练资源多少，并行方式如何，你训练了多久，调整了哪些参数，训练过程中有遇到什么问题吗？ 「腾讯」
「字节跳动」
多机多卡训练里LoRA微调、全参数微调分别怎么操作，
LoRA原理、常用超参（R、alpha）、加在哪些层？
原题完整原题
【LoRA微调与全参数微调】多机多卡训练里LoRA微调、全参数微调分别怎么操作，LoRA原理、常用超参（R、alpha）、加在哪些层？ 「字节跳动」
【Megatron-LM模型并行】Megatron-LM的模型并行实现原理：请解释Column Parallel与Row Parallel矩阵划分策略（横切与竖切），以及如何进行算子侧切分？ 「字节Seed、腾讯、腾讯混元、阿里通义」
原题【micro-batch/gradient accumulation/global batch区别】请区分micro-batch、gradient accumulation、global batch，它们各自影响什么？请详细解释三者的概念和影响。 「字节跳动」
原题【MoE通信方式】moe并行过程中，怎么进行通信，有几种通信方式？ 「腾讯」
原题【NeMoCurator去重】为什么用NeMoCurator去重会需要多机多卡？请解释NeMoCurator去重对多机多卡的需求原因。 「腾讯」
原题【PD分离】了解PD分离吗？请解释PD分离的概念及其在分布式训练中的作用。 「百度」
原题PD 按 Prefill/Decode 推理阶段关联；原文混有“分布式训练”表述。
【PP微批次分配】PP=2时MB应该怎么分配？ 「阿里通义」
原题【PP气泡比较】PP=4和PP=2哪个气泡多？ 「阿里通义」
原题【RL资源与参数关系】rollout数量 batchsize数量和计算资源(卡的数量)有什么关系？ 「蚂蚁集团」
原题
暂无题目