预训练：训练与数据处理
训练大语言模型的核心资源要素有哪些？为什么说它是资本密集型工程？
原题如何用 6ND 公式估算稠密与混合专家（MoE）预训练的浮点数计算次数（FLOPs）？
原题如何分析分组注意力（GQA）、多头注意力（MQA） 和多头潜在注意力（MLA）对训练 FLOPs 的影响？
原题原题将 MQA 的中文写作“多头注意力”；此处按其英文缩写及正文所指的 Multi-Query Attention（多查询注意力）理解。
如何从理论浮点数计算次数（FLOPs）估算训练时间和项目成本？
原题大语言模型预训练为什么需要多来源数据？不同数据来源各有什么作用和风险？
原题数据规模是否越大越好？如何理解数据规模、模型参数量与缩放定律（Scaling Law）的关系？
原题LLM 预训练语料清洗与传统数据清洗有什么不同？
原题为什么 LLM 预训练中特别重视数据去重？
原题为什么 LLM 训练语料需要重点处理隐私、版权和隐私？如何降低模型记忆风险？
原题LLM 预训练数据质量如何评估？为什么质量比单纯规模更重要？
原题如何避免评测集污染（benchmark contamination）？
原题分词器（Tokenizer）、词表大小与切分度（fertility）如何影响预训练效率和多语言能力？
原题不同来源、不同质量的数据如何做混合配比？
原题为什么 LLM 预训练的数据版本管理比普通机器学习更复杂？如何保证可复现？
原题如何为低资源领域的 LLM 构造高质量训练数据？
原题LLM 如何将原始语料组织成 token 序列、训练样本和上下文窗口？
原题数据课程学习、退火与合成数据应如何进入预训练配方？
原题什么是大语言模型预训练？
原题为什么主流 LLM 预训练通常采用自回归（下一词元预测）？
原题大语言模型预训练中的词元级交叉熵（token-level cross entropy）如何计算？它和下一个词元预测（next token prediction）、困惑度（perplexity）有什么关系？
原题因果语言建模（CLM）、掩码语言建模（MLM）、前缀语言建模（PrefixLM）、UL2 和中间填充（FIM）的目标函数有什么区别？
原题大语言模型预训练中如何组织批次（batch）、打包序列（sequence packing）并提升词元吞吐量（token throughput）？
原题全局批大小（global batch）、梯度累积与临界批大小（critical batch size）应如何共同确定？
原题大语言模型预训练中如何选择优化器？
原题大语言模型预训练中为什么需要学习率预热（warmup）、衰减（decay）和基于词元的调度（token-based schedule）？
原题μP / μTransfer 如何降低大模型超参数搜索成本？
原题大语言模型训练为什么常用 BF16/FP16 混合精度？它如何影响显存、吞吐和稳定性？
原题大语言模型训练中为什么容易出现损失尖峰（loss spike）、NaN 和梯度异常？如何监控与缓解？
原题大语言模型训练中的 checkpoint、断点恢复和监控为什么更复杂？如何设计？
原题大模型预训练的主要瓶颈是什么？
原题为什么大语言模型训练需要多种并行策略？数据并行、张量并行、流水线并行分别解决什么问题？
原题大语言模型训练中为什么需要 ZeRO 和 FSDP？它们如何切分参数、梯度和优化器状态？
原题大语言模型训练中如何通过混合精度、梯度累积和激活检查点节省显存？
原题Flash Attention 为什么能加速大语言模型中的 Attention？它主要优化的是计算量还是显存访问？
原题大语言模型预训练中如何优化数据加载和数据管线，避免 GPU 等待数据？
原题主流大模型训练框架如何组合并行策略？
原题
暂无题目