深度学习基础汇编
【RankMixer】rankmixer结构介绍，对比Transformer结构优势 「字节跳动」
原题【RoPE推导】推导RoPE。 「拼多多」
原题【Transformer Decoder实现】手撕：实现一个Transformer Decoder。 「字节Seed」
原题Decoder实现需先约定decoder-only或含encoder交互的seq2seq形式；原题未给接口和具体版本。
【Transformer Encoder】请描述Transformer encoder的结构，并手撕实现。 「字节跳动、美团」
原题Transformer复杂度与加速：
Transformer自注意力过程计算复杂度？时间复杂度和空间复杂度。
了解哪些降低训练时间复杂度的工作？
了解哪些加速方式？哪些大模型用了线性attention？具体怎么做？
DeepSeek对Transformer主要做了哪些改进？
原题完整原题
【Transformer复杂度与加速】Transformer复杂度与加速： 1. Transformer自注意力过程计算复杂度？时间复杂度和空间复杂度。 2. 了解哪些降低训练时间复杂度的工作？ 3. 了解哪些加速方式？哪些大模型用了线性attention？具体怎么做？ 4. DeepSeek对Transformer主要做了哪些改进？ 「字节跳动、腾讯、蚂蚁集团、阿里巴巴」
【Transformer实现】手撕Transformer。 「拼多多、百度、阿里通义」
原题完整 Transformer 的架构、输入与输出接口需明确。
MGA 未定义，关联覆盖已明确的 MHA 代码与具名机制。
介绍Transformer组件：attention（除dk layernorm、rmsnorm、ffn、swiglu、MoE、lora和初始化）、GQA。
介绍MHA的几种变体及改进方法。
介绍FlashAttention。
介绍长序列attention。
手撕：实现多头自注意力（Multi-Head Attention）核心代码；实现多头注意力模块(MHA)并优化为MGA；实现多头注意力机制，包括softmax及数值溢出处理；写出自注意力伪代码（用abc预测第四个token，给定特征维度、头个数）。
讨论多头注意力能否提高计算效率，并推导。
在Agent多轮对话任务中，Attention的局限性体现在哪些方面？
如果QK变成同一个矩阵会有影响吗？如何解决？
原题完整原题
【Transformer注意力机制】Transformer注意力机制综合题： 1. 介绍Transformer组件：attention（除dk layernorm、rmsnorm、ffn、swiglu、MoE、lora和初始化）、GQA。 2. 介绍MHA的几种变体及改进方法。 3. 介绍FlashAttention。 4. 介绍长序列attention。 5. 手撕：实现多头自注意力（Multi-Head Attention）核心代码；实现多头注意力模块(MHA)并优化为MGA；实现多头注意力机制，包括softmax及数值溢出处理；写出自注意力伪代码（用abc预测第四个token，给定特征维度、头个数）。 6. 讨论多头注意力能否提高计算效率，并推导。 7. 在Agent多轮对话任务中，Attention的局限性体现在哪些方面？ 8. 如果QK变成同一个矩阵会有影响吗？如何解决？ 「京东、字节Seed、字节跳动、百度、美团、腾讯、腾讯混元、阿里巴巴、阿里通义」
【多损失函数冲突与设计】项目里面用的loss不同不会有冲突吗，为什么会用到这些loss。每个loss的做法拷打。 「美团」
原题【线性注意力复杂度降低与实现】线性注意力(LinearAttention)如何将复杂度从O(N^2)降低到O(N)？手撕linear attention。 「字节跳动」
原题【自注意力与交叉注意力堆叠】手写论文中的堆叠的self-attention和cross-attention层，解释一下有什么作用？ 「京东」
原题来源未给出论文名称，任务仅明确自注意力与交叉注意力的堆叠实现。
暂无题目