大模型基础面试题
Transformer前馈神经网络用的是什么激活函数？
原题简述一下Transformer的基本结构和原理
原题Transformer为什么使用多头注意力机制？
原题Transformer为何让Q(查询)和K(键)使用独立的权重矩阵进行计算，为什么需要Q、K、V(查询、键、值)三个矩阵？
原题为什么在attention中要进行scaled(为什么除以√d_k)？
原题Transformer的位置编码作用及局限性？
原题为什么Transformer用LayerNorm而不用BatchNorm？
原题解释一下KV Cache的原理
原题Transformer相比RNN、LSTM的优势何在？
原题Transformer在哪里做了权重共享？
原题介绍一下RoPE位置编码
原题旋转位置编码为什么比绝对位置编码更好
原题RMSNorm正则化有什么好处和优势
原题SwiGLU激活函数的原理
原题为什么大模型用GQA(Group Query Attention)
原题Transformer模型中，最占用参数的是MLP层吗？
原题Transformer模型中计算量(FLOPs)的分析
原题Transformer模型中计算量(FLOPs)和参数的表格分析
原题Multi-head Latent Attention(多头隐变量注意力)是什么？
原题Linear Attention(线性注意力)是什么？
原题Cross-Attention(交叉注意力)是什么？
原题Sparse Attention(稀疏注意力)是什么？
原题不同Attention之间的区别是什么？
原题Group Normalization (GN) 和 Instance Normalization (IN)的区别是什么？
原题不同的Normalization之间有什么区别？
原题解释一下LoRA的原理
原题LoRA是怎样进行初始化矩阵的
原题解释一下AdaLoRA和QLoRA的原理
原题解释一下Adapter
原题介绍几种常见的Adapter
原题解释一下prefix-tuning
原题解释一下P-tuning
原题解释一下Prompt-tuning
原题解释一下混合精度的原理
原题训练的时候用float16、bfloat16还是float32，为什么？
原题怎么解决训练使用float16导致溢出的问题
原题DeepSpeed中ZeRO系列的原理
原题训练时数据长度不一致怎么办，以及如何优化训练速度
原题为什么需要增量预训练？
原题增量预训练的过程当中，loss上升正常吗？
原题在增量预训练过程中如何设置学习率(learning rate, LR)？
原题什么是warmup ratio？训练过程中怎么设置？
原题为什么需要混合精度训练？
原题CLM和MLM分别是什么，有什么区别？
原题GLM的自回归空白填充方法与BERT中的使用遮蔽语言模型(MLM)有什么不同，为自然语言理解(NLU)任务带来了哪些优势
原题Encoder-only、Decoder-only和Encoder-Decoder的模型分别有什么区别，怎么运用？
原题为什么现在的大语言模型都用Decoder-only
原题介绍一下BERT的结构
原题介绍一下LLaMA的结构
原题LLaMA模型在训练过程中如何处理梯度消失和梯度爆炸的问题
原题什么是MoE(混合专家模型)
原题Dense和MoE模型的区别
原题介绍一下Qwen通义千问的结构
原题Qwen2有哪些提升？
原题介绍一下LLaMA3.1的创新
原题DeepSeekV3有啥技术特点？
原题介绍一下vLLM的加速方法
原题介绍一下FlashAttention的原理
原题如何缓解大模型inference的时候的重复问题
原题什么是Prefill-Decode分离？为什么分离？
原题为什么要优化KV Cache？
原题MLA (Multi-head Latent Attention) 是什么？
原题为什么推理速度受限于显存带宽？
原题介绍一下Tokenizer怎么训练的
原题WordPiece如何考虑语言模型的概率
原题介绍一下BPE&BBPE这两种Tokenization方法
原题解释下强化学习
原题强化学习中策略函数和值函数是什么
原题DPO的原理
原题PPO的原理
原题分析一下DPO和PPO的区别
原题DPO的正负样本怎么构造
原题DPO的loss是什么？
原题OpenAI对齐为什么要用强化学习，别的方法不行吗？
原题预训练和微调任务有什么区别，两者的目的
原题SFT后会出现哪些问题
原题什么是PRM过程监督奖励？OpenAI的秘密武器？
原题强化学习算法是怎么分类的？
原题怎么理解DPO的损失函数？
原题DPO的微调流程
原题DeepSeek-R1-Zero里的Zero含义？
原题DeepSeek-R1-Zero中的强化学习(RL)的原理？
原题DeepSeek-R1-Zero有什么弊端
原题什么是冷启动？为什么要冷启动？
原题在DeepSeek-R1上PRM和MCTS是否有用？
原题Deepseek中蒸馏R1是什么？是否比从零RL训练更好？
原题什么是长度外推？
原题ALiBi (Attention with Linear Biases)思路是什么？
原题NTK长度外推方法是什么？
原题PPL (Perplexity) 及其数学公式
原题大海捞针测试和概率探针分别是什么？
原题来源未明确“概率探针”的具体定义；当前关联仅覆盖“大海捞针”部分。
了解迁移学习吗？大模型中是怎么运用迁移学习的？
原题从huggingface下载模型时有哪些文件？
原题到底什么是端到端模型
原题什么叫长尾问题？怎么解决长尾分布问题？
原题什么是交叉熵损失函数？大模型的哪里有交叉熵损失函数？
原题
暂无题目