预训练：训练与数据处理
因果语言建模（CLM）、掩码语言建模（MLM）、前缀语言建模（PrefixLM）、UL2 和中间填充（FIM）的目标函数有什么区别？
原题大语言模型预训练中如何组织批次（batch）、打包序列（sequence packing）并提升词元吞吐量（token throughput）？
原题全局批大小（global batch）、梯度累积与临界批大小（critical batch size）应如何共同确定？
原题大语言模型预训练中如何选择优化器？
原题大语言模型预训练中为什么需要学习率预热（warmup）、衰减（decay）和基于词元的调度（token-based schedule）？
原题μP / μTransfer 如何降低大模型超参数搜索成本？
原题大语言模型训练为什么常用 BF16/FP16 混合精度？它如何影响显存、吞吐和稳定性？
原题大语言模型训练中为什么容易出现损失尖峰（loss spike）、NaN 和梯度异常？如何监控与缓解？
原题大语言模型训练中的 checkpoint、断点恢复和监控为什么更复杂？如何设计？
原题大模型预训练的主要瓶颈是什么？
原题
暂无题目