理论基础面试题
请详细解释一下 Transformer 模型中的自注意力机制是如何工作的?它为什么比 RNN 更适合处理长序列?
原题什么是位置编码?在 Transformer 中,为什么它是必需的?请列举至少两种实现方式。
原题请你详细介绍ROPE,对比绝对位置编码它的优劣势分别是什么?
原题你知道MHA,MQA,GQA的区别吗?详细解释一下。
原题请比较一下几种常见的 LLM 架构,例如 Encoder-Only, Decoder-Only, 和 Encoder-Decoder,并说明它们各自最擅长的任务类型。
原题什么是Scaling Laws?它揭示了模型性能、计算量和数据量之间的什么关系?这对LLM的研发有什么指导意义?
原题在LLM的推理阶段,有哪些常见的解码策略?请解释 Greedy Search, Beam Search, Top-K Sampling 和 Nucleus Sampling (Top-P) 的原理和优缺点。
原题什么是词元化?请比较一下 BPE 和 WordPiece 这两种主流的子词切分算法。
原题你觉得NLP和LLM最大的区别是什么?两者有何共同和不同之处?
原题L1和L2正则化分别是什么,什么场景适合使用呢?
原题"涌现能力"是大型模型中一个备受关注的现象,请问你如何理解这个概念?它通常在模型规模达到什么程度时出现?
原题激活函数有了解吗,你知道哪些LLM常用的激活函数?为什么选用它?
原题混合专家模型（MoE）是如何在不显著增加推理成本的情况下，有效扩大模型参数规模的？请简述其工作原理。
原题在训练一个百或千亿参数级别的 LLM 时，你会面临哪些主要的工程和算法挑战？（例如：显存、通信、训练不稳定性等）
原题开源框架了解过哪些？
Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？
原题完整原题
开源框架了解过哪些？Qwen，Deepseek的论文是否有研读过，说一下其中的创新点主要体现在哪？
最近读过哪些LLM比较前沿的论文，聊一下它的相关方法，针对什么问题，提出了什么方法，对比实验有哪些？
原题多模态大模型(如 VLM)的核心挑战是什么?即如何实现不同模态信息(如视觉和语言)的有效对齐和融合?
原题请解释 CLIP 模型的工作原理。它是如何通过对比学习来连接图像和文本的？
原题像 LLaVA 或 MiniGPT-4 这样的模型是如何将一个预训练好的视觉编码器（Vision Encoder）和一个大语言模型（LLM）连接起来的？请描述其关键的架构设计。
原题什么是视觉指令微调？为什么说它是让 VLM 具备良好对话和指令遵循能力的关键步骤？
原题在处理视频等多模态数据时，相比于静态图片，VLM 需要额外解决哪些问题？（例如，如何表征时序信息？）
原题请解释Grounding在 VLM 领域中的含义。我们如何评估一个 VLM 是否能将文本描述准确地对应到图片中的特定区域？
原题请对比至少不同的 VLM 架构范式（如共享编码器 vs. 跨模态注意力融合），并分析它们的优劣。
原题在 VLM 的应用中，如何处理高分辨率的输入图像？这会带来哪些计算和模型设计上的挑战？
原题VLM 在生成内容时，同样会遇到"幻觉"（Hallucination）问题，但它的表现形式和纯文本 LLM 有何不同？请举例说明。
原题除了图片描述和视觉问答（VQA），你还能列举出 VLM 的哪些前沿或具有潜力的应用方向？
原题有没有做过VLM相关方面的微调？什么模型？
原题多模态学习中常见的融合方式有哪些？早期融合 vs 晚期融合 vs 中间融合的区别和适用场景？
原题Vision Transformer (ViT) 和 CNN 在图像特征提取上的优劣对比？
原题什么是对比学习(Contrastive Learning)？InfoNCE loss 的公式和作用？
原题大模型训练中常用的优化器有哪些？AdamW 和 Adam 的区别是什么？
原题如何评估多模态模型的性能？除了准确率，还有哪些指标？（如 Recall@K, mAP 等）
原题什么是 instruction tuning？在多模态场景下如何做？
原题BLIP / BLIP-2 的核心创新点是什么？和 Flamingo 有什么区别？
原题和传统SFT相比,RLHF旨在解决语言模型中的哪些核心问题?为什么说SFT本身不足以实现我们期望的"对齐"目标?
原题请详细阐述经典RLHF流程的三个核心阶段。在每个阶段，输入是什么，输出是什么，以及该阶段的关键目标是什么？
原题在RM训练阶段，我们通常收集的是成对比较数据，而不是让人类标注者直接给回复打一个绝对分数。你认为这样做的主要优势和潜在的劣势分别是什么？
原题奖励模型的设计至关重要。它的模型架构通常如何选择？它与我们最终要优化的LLM是什么关系？在训练奖励模型时，常用的损失函数是什么？请解释其背后的数学原理（例如，可以结合Bradley-Terry模型来解释）。
原题在RLHF的第三阶段，PPO是最主流的强化学习算法。为什么选择PPO，而不是其他更简单的策略梯度算法（如REINFORCE）或者Q-learning系算法？PPO中的KL散度惩罚项起到了什么关键作用？
原题如果在PPO训练过程中，KL散度惩罚项的系数 β 设置得过大或过小，分别会导致什么样的问题？你将如何通过实验和观察来调整这个超参数？
原题什么是"奖励作弊/奖励黑客"（Reward Hacking）？请结合一个具体的LLM应用场景给出一个例子，并探讨几种可能的缓解策略。
原题RLHF流程复杂且不稳定。近年来出现了一些替代方案，例如DPO。请解释DPO的核心思想，并比较它与传统RLHF（基于PPO）的主要区别和优势。
原题想象一下，你训练完成的RLHF模型在离线评估中表现优异，奖励模型分数很高，但上线后用户反馈其回答变得越来越"模式化"、奉承、且缺乏信息量。你认为可能的原因是什么？你会从哪些方面着手分析和解决这个问题？
原题你知道Deepseek的GRPO吗，它和PPO的主要区别是什么？优劣是什么？
原题GSPO和DAPO有听说过吗？他们和GRPO有什么区别？
原题如何解决信用分配问题？token级别和seq级别的奖励有何不同？
原题除了人类反馈，我们还可以利用AI自身的反馈来做对齐，即RLAIF。请谈谈你对RLAIF的理解，它的潜力和风险分别是什么？
原题SFT 的 loss 如何只计算回答部分？(如何 ignore padding token?)
原题你对SFT的理解是什么？与预训练相比有什么差异？
原题SFT冷启动时数据集构造需要注意哪些因素？为什么要做数据清洗与均衡采样？
原题微调时的训练数据是怎么构建的？如何保证样本多样性和质量？
原题SFT+DPO训练怎么组织这部分数据的？是自己构造还是用公开数据？
原题SFT 的数据集是越大越好吗？会存在scaling law 吗？
原题SFT使用的数据可能和原始模型预训练时的数据分布有较大区别，怎么解决？
原题SFT和强化学习各自有什么优缺点，分别适用于什么场景？
原题什么场景下用SFT，什么场景下用RL？
原题PPO/GRPO 微调后，如何防止模型在分布外(OOD)问题上性能崩塌？
原题是否自己实现过 RLHF 流程？不用框架能否手写 PPO 核心逻辑？
原题为什么PPO要用value baseline和GAE？它们如何让训练更稳定？
原题为什么GRPO在训练MOE时会出问题？原因是啥，怎么改进策略？
原题GRPO的KL散度是什么？KL散度中超参数如何设计？
原题为什么使用强化学习会存在训练不稳定问题？为什么业界还在用？
原题rollout数量、batchsize数量和计算资源(卡的数量)有什么关系？线性？非线性？
原题真实采样数量一定等于rollout数量吗？
原题交叉熵和KL散度的联系和区别？PPO的KL散度可以改成交叉熵吗？分类任务可以用KL散度吗？
原题在使用 GRPO 提升大模型的Function Calling 能力时，除了结果奖励(outcome reward)，还可以如何设计过程奖励(process reward)？
原题如何降低 Transformer 的计算复杂度？常见的稀疏注意力变体有哪些？
原题KV Cache是什么？为什么能极大地提升推理速度？
原题LoRA微调的原理是什么？秩 r 的选择会对模型表现产生什么影响？
原题在有限算力下做大模型微调有哪些常用方法？
原题训练一个7B模型要占用多少显存？不同ZeRO阶段能节省多少显存？
原题DeepSpeed ZeRO Stage 1-3的区别是什么？什么时候用FSDP会更好？
原题vLLM框架是怎么做推理加速的？
原题如果量化后模型理解能力下降怎么办？怎么做精度补偿？
原题QLoRA是怎么降低资源成本的？NF4和FP16这组组合为什么有效？
原题如何估算 LLaMA-7B 模型推理时的显存占用？
原题Prefix LM、Causal LM、Encoder-Decoder 三类架构的适用场景与优缺点？
原题bf16 和 float16 的区别？各占多少位？训练中如何选择？
原题Transformer为什么用 LayerNorm 而不是 BatchNorm？
原题LLM训练的时候为什么需要warmup？
原题对比学习中的batch size是大一些好还是小一些好？为什么？
原题Tokenization 是如何工作的？BPE、WordPiece 有啥区别？
原题
暂无题目