预训练与架构
【温度参数】调用大模型时，如果输入固定，把温度调到0，为什么输出还会发散？ 「阿里巴巴」
原题【生成与理解的关系】理解怎么帮生成？生成怎么帮理解？ 「腾讯混元」
原题【知识蒸馏与无监督训练】知识蒸馏和无监督样本训练？ 「腾讯混元」
原题【继续预训练】继续预训练做过吗？ 「拼多多」
原题【自选大模型知识】讲两个自认为掌握比较好的大模型相关知识，模型结构推理训练都行。 「京东」
原题【解码策略】大模型的解码策略。生成式任务中，一般decoder有哪些解码方法？目前业内主流大模型的解码策略是什么？请列举常见的解码方法（如贪心搜索、Beam Search、Top-k采样、Top-p采样、Temperature等）并说明其原理和适用场景。 「京东、字节Seed、阿里巴巴」
原题【训练性能提升】大模型训练:如何更容易提升模型性能？请列举提升性能的关键技术，如数据质量、模型架构优化（如MoE、GQA）、训练技巧（如学习率调度、梯度裁剪）、分布式训练策略等。 「百度文心」
原题【训练推理流程与SFT/RLHF】阐述大模型训练与推理的完整流程，重点说明SFT(监督微调)和RLHF(基于人类反馈的强化学习)的具体作用。 「腾讯、腾讯混元」
原题大模型预测是怎么做的，为什么大模型和标准模型的准确率有什么区别？微调是怎么做的，基座是什么，有用过更高级的模型吗？输入的特征是什么？大模型在场景上的优势？
请解释大模型预测的推理过程（自回归生成），
比较与标准模型（如传统分类模型）在准确率上的差异原因（如参数量、训练数据、泛化能力），
说明微调的方法（全量微调、LoRA等），
基座模型的选择，
输入特征（如tokenized文本），
以及大模型在复杂任务上的优势（如上下文理解、多任务能力）。
原题完整原题
【预测与微调】大模型预测是怎么做的，为什么大模型和标准模型的准确率有什么区别？微调是怎么做的，基座是什么，有用过更高级的模型吗？输入的特征是什么？大模型在场景上的优势？请解释大模型预测的推理过程（自回归生成），比较与标准模型（如传统分类模型）在准确率上的差异原因（如参数量、训练数据、泛化能力），说明微调的方法（全量微调、LoRA等），基座模型的选择，输入特征（如tokenized文本），以及大模型在复杂任务上的优势（如上下文理解、多任务能力）。 「腾讯」
【预训练Loss实现】预训练 loss，自己实现过吗？ 「拼多多」
原题
暂无题目