预训练：训练与数据处理
为什么大语言模型训练需要多种并行策略？数据并行、张量并行、流水线并行分别解决什么问题？
原题大语言模型训练中为什么需要 ZeRO 和 FSDP？它们如何切分参数、梯度和优化器状态？
原题大语言模型训练中如何通过混合精度、梯度累积和激活检查点节省显存？
原题Flash Attention 为什么能加速大语言模型中的 Attention？它主要优化的是计算量还是显存访问？
原题大语言模型预训练中如何优化数据加载和数据管线，避免 GPU 等待数据？
原题主流大模型训练框架如何组合并行策略？
原题
暂无题目