预训练与架构
【增量预训练】增量预训练使用了多少数据，又该如何评估训练效果？ 「腾讯」
原题【大模型与小模型组合选择】是优先大模型还是小模型组合? 「字节跳动」
原题【大模型发展史】了解哪些大模型和多模态大模型，然后就聊了大模型这一路是怎么发展过来的，Transformer、BERT、GPT、LLaMA、Qwen这些，以及当时的01推理模型 「阿里通义」
原题【大模型概览与结构差异】从Transformer到现在的大模型有什么变化？介绍一下你了解的大语言模型和多模态大模型有哪些，并详细说明这些模型在结构上的差异。 「字节跳动、百度、美团」
原题「字节跳动、百度、美团、腾讯混元」
如何训一个大模型，你们做的产品有用大模型吗？如何训练自己的大模型？请描述训练大模型的完整流程：数据收集与预处理、模型架构设计（如transformer）、训练策略（分布式训练、混合精度）、超参数调优、评估与迭代。
同时说明产品中如何应用大模型（如API调用、微调部署）。
原题完整原题
【大模型训练】如何训一个大模型，你们做的产品有用大模型吗？如何训练自己的大模型？请描述训练大模型的完整流程：数据收集与预处理、模型架构设计（如transformer）、训练策略（分布式训练、混合精度）、超参数调优、评估与迭代。同时说明产品中如何应用大模型（如API调用、微调部署）。 「字节跳动、百度、美团、腾讯混元」
【大模型过拟合判断】讲一下大模型的过拟合如何判断？请说明过拟合的表现（如训练loss下降但验证loss上升）、检测方法（如观察验证集性能、使用早停法）以及可能的缓解措施（如正则化、数据增强、dropout等）。 「腾讯」
原题【小模型训练与蒸馏】小尺寸模型（如8B）的训练特点是什么？是否能够直接蒸馏GPT-5.5等大模型，会存在哪些问题？请说明小模型训练的优势（如计算资源需求低、推理速度快）和挑战（如容量有限），蒸馏大模型时可能遇到的知识迁移不充分、灾难性遗忘、分布偏移等问题。 「百度、蚂蚁集团」
原题【投机解码】这个岗位是投机解码，问我是否有了解这个方向？ 「腾讯」
原题【损失函数与计算】大模型的预训练和后训练的损失函数分别是什么？大模型预测token的损失是怎么算的？请说明预训练通常使用自回归语言建模损失（交叉熵），后训练（如微调）可能使用交叉熵或对比学习损失，并解释token级别损失的计算方式（如对每个token预测概率取负对数）。 「美团」
原题【推理链路】大语言模型，用户输入query后，大模型推理的完整链路是什么样的？请描述从输入预处理（tokenization、padding）、模型前向传播（transformer层计算）、解码策略（如自回归生成）到输出后处理（detokenization）的完整流程。 「阿里巴巴」
原题
暂无题目