深度学习基础汇编

【损失函数与激活函数】写出sigmoid公式、softmax公式。多分类的分类损失函数（结合Softmax）是什么？请写出loss函数。 「百度、腾讯、腾讯混元、阿里巴巴」

【激活函数与FFN】DNN整体结构，输出层激活函数有哪些？FFN（前馈神经网络）的作用是什么？其维度如何？FFN常用激活函数（如ReLU）的公式、用法及存在的问题。常见激活函数有哪些？请列出并说明。 「京东、字节跳动、拼多多、美团、阿里巴巴、阿里通义」

【FFN与残差连接意义】FFN层&shortcut结构的意义？介绍一下FFN快计算公式？ 「字节跳动、腾讯」

【Softmax函数】手撕 softmax 函数；Softmax和交叉熵损失怎么计算？二值交叉熵呢？Softmax计算时指数上溢如何解决？防止数据溢出的公式是什么？介绍Softmax函数的原理、作用及实现。比较Softmax和Sigmoid的区别，并说明在什么情况下可以用Softmax替代Sigmoid？ 「京东、字节跳动、百度、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴」

【FFN结构与SwiGLU】FFN结构与SwiGLU： 1. FFN一般是几层，中间的非线性变化是什么？现在变成了SwiGLU，优势是什么？ 2. 手写SwiGLU；SwiGLU激活函数相比GeLU有什么优势？ 3. 介绍使用GeLU的GLU块计算公式、使用GLU线性门接单元的FFN块计算公式、使用Swish的GLU块计算公式。 「字节跳动、美团、腾讯」

【LoRA初始化与更新】LoRA初始化与更新： 1. LoRA初始化时，通常将B初始化为0、A随机初始化（如高斯分布），使得初始ΔW=BA=0，训练初期等于原模型。为什么这种初始化很重要？如果A全0初始化、B随机初始化，或者B=0（即B初始化为0但A非零），会发生什么？ 2. LoRA里AB矩阵怎么初始化怎么更新？ 「字节跳动、百度、美团」

【MoE与Dense对比】MoE与Dense对比： 1. MoE相比Dense有什么好处？ 2. 分别讲一下Dense模型和MoE模型以及二者的区别？做业务的时候，如何选择dense模型还是moe模型？ 「腾讯混元、蚂蚁集团」

【参数初始化与神经元参数】预估点击率场景，输入x，label y是否点击，用DNN拟合，训练的模型参数初始化方法有哪些？神经元里有哪些参数（w,b）？能不能让a b矩阵都高斯初始化？k1和b参数分别控制什么？ 「美团、蚂蚁集团、阿里巴巴」

【参数初始化与损失函数】参数都是0会发生什么，1行不行，参数为1的模型跟正常模型训练效果什么区别 针对这个场景介绍你知道的优化器，损失函数会选择什么，为什么选择BCE，为什么不能用MSE code:最大乘积子数组？ 「蚂蚁集团」

【手撕多种模块】手撕IOU、NMS、正向卷积、池化、BN、resnet、FCN、多头注意力。 「腾讯」

【CNN基础】1. 介绍CNN的结构和优点。2. 解释感受野的概念。 「拼多多、腾讯」

【卷积实现与ResNet】手写2D卷积的实现过程（不能用API，要写滑窗逻辑）。手撕torch系列：ResNet（深度残差网络）原理及代码实现（基于Pytorch）。 「字节跳动、腾讯」

【LSTM与GRU对比】LSTM的结构、解决的问题及与GRU的区别。具体包括：1. LSTM如何通过门控机制（遗忘门、输入门、输出门）和细胞状态解决RNN梯度消失问题？2. GRU相比LSTM的简化结构（重置门、更新门）及两者在参数量、计算效率、性能上的差异。3. RNN梯度消失的原因（激活函数导数小于1、时间步长导致连乘效应）及LSTM/GRU的缓解原理。 「百度、美团」

【序列建模与时间理解】序列建模与时间理解机制：包括LSTM与Transformer的区别；长期短期记忆机制（如何实现短期、中期、长期记忆）；解决序列时序问题的方法；除LSTM外其他序列建模方法（如GRU、Transformer、TCN等）；模型如何理解时间（位置编码、时间步、门控机制等）。 「京东、字节跳动、百度」

【Transformer时序预测与长序列建模】1. 时序预测和Transformer怎么结合？2. 长序列建模知道哪些simtwintwinv2？ 「阿里巴巴」

【Self-Attention原理与QKV】Attention是什么，如何计算？请说明Multi-Head Attention (MHA) 的具体实现，以及Self-Attention的计算流程、公式和原理，如何解决长距离依赖问题？讲一下Self-Attention的实现原理，为什么要分成Q、K、V三个向量？讲一下Self-Attention的机制，进一步追问。为什么attention score要除以根号d，以及多头注意力相比单头注意力的优势？QKV具体是怎么设计出来的？它们是什么，有什么区别？ 「京东、字节Seed、字节跳动、百度、美团、腾讯混元、阿里巴巴、阿里通义」

【Softmax与QKV机制】能先介绍一下Softmax函数吗？然后整体讲讲Transformer模型，特别是里面的QKV(Query, Key, Value)机制，能详细说说这个过程吗？ 「阿里巴巴」

【注意力机制与多头注意力】介绍Transformer中的注意力机制，包括：1. 注意力机制的基本概念、公式（Q、K、V）及直观理解，为什么除以√dk，为什么减去max_x（数值稳定），Softmax后与V相乘的过程。2. 自注意力（self-attention）和交叉注意力（cross-attention）的区别与作用。3. 多头注意力（Multi-Head Attention）的结构：如何分头、如何拼接、多头优势（为什么单头不行）、注意力分数的物理意义、注意力层中的权重。4. 掩码注意力：因果自注意力（Causal Self-Attention）的掩码形式、掩码注意力的作用。5. Transformer前向过程及每一步输入输出形状。 「京东、字节Seed、字节跳动、百度、百度文心、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」

【缩放因子原因】注意力分数矩阵QKT为什么要除以sqrt(dk)？并说明Transformer相比RNN和CNN在长依赖、并行计算和表达能力上分别解决了哪些核心问题？同时解释Encoder和Decoder的结构区别及各自适用场景。 「京东、字节跳动、百度、美团、腾讯、阿里巴巴、阿里通义」

【MHA/MQA/GQA区别】1. GQA(Grouped-Query Attention)的原理是什么？它又是怎么实现的？2. 讲一下 MHA、MQA、GQA 的区别，以及它们在推理效率和显存占用上的差异。3. 介绍一下Multi-Query Attention？ 「字节跳动、百度、腾讯混元、阿里巴巴」

【MHA复杂度与Tokenization】推导多头注意力的时间/空间复杂度。底层细节：Tokenization是如何工作的？ 「阿里巴巴」

【MHA实现】1. 手撕MHA代码 2. 手撕multi-head attention（MHA），使用PyTorch实现。 「京东、字节Seed、字节跳动、腾讯、蚂蚁集团、阿里巴巴」

【Scaled Dot-Product Attention】1. 手写attention: scale为什么除以√dk而不是dk? 2. Attention为什么要scaled（除以√dk）？不做会怎样？为什么选择除以√dk而不是其他值？在多头注意力机制下，√dk是否需要变化？请结合Transformer架构介绍Scaled Dot-Product Attention的计算公式，并解释除以√dk的核心作用。 「字节跳动、拼多多、百度、美团、蚂蚁集团」

【Self-Attention实现】1. Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。2. Attention算子的实现。3. 手撕self-attention，要求用矩阵乘法实现。 「百度、腾讯、阿里巴巴」

【Transformer与Attention】Transformer的并行化讲一讲；编码器和解码器的注意力有什么区别；在计算注意力时为什么要除以sqrt{d_k}？ 「腾讯、蚂蚁集团、阿里通义」

【Transformer架构与强化学习】Transformer的架构（attention的原理、模型还包含哪些构件，分别有什么作用），强化学习的模型、分类（on-policy和off-policy的区别和举例）和原理。 「京东」

【位置编码】Transformer中常用的位置编码方式有哪些？请列举并简要说明。进一步追问：除了正余弦还有什么？知不知道LLaMA？引申出推荐系统怎么做位置编码？ 介绍Transformer中的位置编码，包括作用、常见方法（正弦位置编码、可学习位置编码、旋转位置编码RoPE等）及其原理，比较优缺点，特别说明相对位置编码比绝对位置好的原因，以及RoPE的原理和实现方式。 「字节跳动、拼多多、百度、美团、腾讯、蚂蚁集团、阿里巴巴、阿里通义」

【多头注意力变体】对比普通多头注意力（MHA），GQA是如何兼顾速度与效果的？详细讲解MHA、MQA、GQA和MLA的区别，包括原理和公式，并分析对推理速度（首字延迟、生成速度）的影响。还了解其他注意力机制吗（如Flash Attention）？ 「字节跳动、百度、腾讯、阿里巴巴」

【多头注意力机制与张量形状】Transformer的多头注意力机制如何实现？请描述输入输出、self-attention计算过程、QKV的定义与计算，以及张量形状的变化（包括维度变化）。view和reshape的区别是什么？ 「字节跳动、拼多多」

【掩码注意力】Transformer介绍，masked MHA是怎么处理的？Transformer中有哪些mask？有没有看最新的大模型论文？ 「美团、阿里巴巴、阿里通义」

【MHA与RoPE】手撕MHA + RoPE。实现Rotary Position Embedding (RoPE)。 「字节跳动、美团」

【MQA/GQA/MLA】实现GQA。实现MQA。MQA、GQA、MLA分别优化了什么？请手撕MQA和GQA，并说明Multi-Query Attention的好处。PLE，MMoE 讲一个了解的大模型 LoRA原理 MHA和GQA 流量很多的时候，KV Cache还可以做吗怎么做(没大听懂，不会) TRPO，PPO？ 「京东、字节跳动、百度、腾讯、腾讯混元、阿里巴巴」

【Transformer复杂度与加速】Transformer复杂度与加速： 1. Transformer自注意力过程计算复杂度？时间复杂度和空间复杂度。 2. 了解哪些降低训练时间复杂度的工作？ 3. 了解哪些加速方式？哪些大模型用了线性attention？具体怎么做？ 4. DeepSeek对Transformer主要做了哪些改进？ 「字节跳动、腾讯、蚂蚁集团、阿里巴巴」

【Transformer注意力机制】Transformer注意力机制综合题： 1. 介绍Transformer组件：attention（除dk layernorm、rmsnorm、ffn、swiglu、MoE、lora和初始化）、GQA。 2. 介绍MHA的几种变体及改进方法。 3. 介绍FlashAttention。 4. 介绍长序列attention。 5. 手撕：实现多头自注意力（Multi-Head Attention）核心代码；实现多头注意力模块(MHA)并优化为MGA；实现多头注意力机制，包括softmax及数值溢出处理；写出自注意力伪代码（用abc预测第四个token，给定特征维度、头个数）。 6. 讨论多头注意力能否提高计算效率，并推导。 7. 在Agent多轮对话任务中，Attention的局限性体现在哪些方面？ 8. 如果QK变成同一个矩阵会有影响吗？如何解决？ 「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」

【注意力机制实现】手撕注意力机制变体：1) MHA/MQA/GQA兼容版，init里设置传参通义万相数据；2) MLA实现；3) MultiHeadAttention中Q、K、V线性变换层引入LoRA；4) 设计高效Attention实现，降低时间/空间复杂度。 「京东、字节跳动、腾讯、阿里通义」

【BatchNorm原理与流程】BatchNorm原理、训练测试逻辑、可学习参数与不可学习参数、统计量获取。变体：1）BN中可学习参数（缩放和平移参数）如何获取？均值、方差通过哪些维度计算得到？2）讲一下BN模块，训练、测试逻辑。3）训练与推理时BN中的均值、方差分别是什么？训练和推理的时候的均值和方差都是怎么得到的？4）请介绍BatchNorm和LayerNorm的原理、做法和训练方法，并说明BN层的意义及其可学习参数与不可学习参数。 「字节Seed、字节跳动、百度、阿里巴巴」

【归一化领域差异与选择】CNN和Transformer分别使用哪种归一化方式？LN和残差连接作用，Transformer能用BN吗？图像领域和文本领域归一化不同，有什么区别？ 「京东、字节跳动、百度、美团、阿里巴巴」