预训练：训练与数据处理
训练大语言模型的核心资源要素有哪些？为什么说它是资本密集型工程？
原题如何用 6ND 公式估算稠密与混合专家（MoE）预训练的浮点数计算次数（FLOPs）？
原题如何分析分组注意力（GQA）、多头注意力（MQA） 和多头潜在注意力（MLA）对训练 FLOPs 的影响？
原题原题将 MQA 的中文写作“多头注意力”；此处按其英文缩写及正文所指的 Multi-Query Attention（多查询注意力）理解。
如何从理论浮点数计算次数（FLOPs）估算训练时间和项目成本？
原题大语言模型预训练为什么需要多来源数据？不同数据来源各有什么作用和风险？
原题数据规模是否越大越好？如何理解数据规模、模型参数量与缩放定律（Scaling Law）的关系？
原题LLM 预训练语料清洗与传统数据清洗有什么不同？
原题为什么 LLM 预训练中特别重视数据去重？
原题为什么 LLM 训练语料需要重点处理隐私、版权和隐私？如何降低模型记忆风险？
原题LLM 预训练数据质量如何评估？为什么质量比单纯规模更重要？
原题
暂无题目