预训练与架构
【预训练与SFT Loss】预训练和SFT的loss有什么区别? 「百度文心」
原题【预训练与后训练目标】技术理解：预训练和后训练在构建训练目标上有什么区别？请说明预训练目标（如自回归语言建模、掩码语言建模）与后训练目标（如指令微调、RLHF）的差异，以及各自的目的（预训练学习通用知识，后训练对齐人类偏好）。 「百度文心」
原题【预训练数据处理】预训练数据处理流程。 「百度」
原题【预训练目标】为什么用next-token prediction而不是MLM? 「百度」
原题【预训练策略】你们预训练的时候，除了有对配比实验的策略，有没有其他策略（比如学习率上的）？ 「字节跳动」
原题【预训练经验】做过模型的预训练吗？关于预训练有什么经验可以分享吗？ 「京东」
原题【预训练评估】预训练评估有哪些维度？ 「拼多多」
原题【预训练语料构建】如何构建高质量的预训练语料?请说明语料来源（如网页、书籍、代码）、清洗流程（去重、过滤低质量内容、隐私保护）、数据配比（不同领域比例）以及质量评估方法。 「字节跳动」
原题【预训练跷跷板效应】pretrain会不会存在跷跷板效应？ 「美团」
原题【预训练过程与loss】讲一下大模型训练的过程 预训练的 loss 是什么？请描述大模型训练的一般流程（数据准备、前向传播、损失计算、反向传播、参数更新），并说明预训练阶段常用的损失函数（如自回归语言建模的交叉熵损失）。 「美团」
原题
暂无题目