深度学习基础汇编
手写attention
scale为什么除以√dk而不是dk?
Attention为什么要scaled（除以√dk）？不做会怎样？为什么选择除以√dk而不是其他值？在多头注意力机制下，√dk是否需要变化？请结合Transformer架构介绍Scaled Dot-Product Attention的计算公式，并解释除以√dk的核心作用。
原题完整原题
【Scaled Dot-Product Attention】1. 手写attention: scale为什么除以√dk而不是dk? 2. Attention为什么要scaled（除以√dk）？不做会怎样？为什么选择除以√dk而不是其他值？在多头注意力机制下，√dk是否需要变化？请结合Transformer架构介绍Scaled Dot-Product Attention的计算公式，并解释除以√dk的核心作用。 「字节跳动、拼多多、百度、美团、蚂蚁集团」
Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。
Attention算子的实现。
手撕self-attention，要求用矩阵乘法实现。
原题完整原题
【Self-Attention实现】1. Attention机制包含哪些核心算子？请用PyTorch简单搭建一个Self-Attention模块的伪代码，并解释每个算子的作用。2. Attention算子的实现。3. 手撕self-attention，要求用矩阵乘法实现。 「百度、腾讯、阿里巴巴」
【SwiGLU】SwiGLU 融合减少了什么？ 「蚂蚁集团」
原题Transformer的并行化讲一讲；
编码器和解码器的注意力有什么区别；
在计算注意力时为什么要除以sqrt{d_k}？
原题完整原题
【Transformer与Attention】Transformer的并行化讲一讲；编码器和解码器的注意力有什么区别；在计算注意力时为什么要除以sqrt{d_k}？ 「腾讯、蚂蚁集团、阿里通义」
【Transformer与RNN/LSTM对比】请阐述Transformer模型的核心思想（自注意力机制），并分析其在处理长序列数据时相比RNN/LSTM的优势与潜在挑战。 「蚂蚁集团」
原题【Transformer前向流程】如果从一句输入到输出完整走一遍流程，你会怎么串 embedding、位置编码、attention和FFN？ 「字节跳动」
原题【Transformer参数与计算量】Transformer中参数都分布在哪里，参数量最大的是哪部分？计算量最大的是哪部分，为什么？ 「美团」
原题Transformer的架构（attention的原理、模型还包含哪些构件，分别有什么作用），
强化学习的模型、分类（on-policy和off-policy的区别和举例）和原理。
原题完整原题
【Transformer架构与强化学习】Transformer的架构（attention的原理、模型还包含哪些构件，分别有什么作用），强化学习的模型、分类（on-policy和off-policy的区别和举例）和原理。 「京东」
【Transformer架构变体】Transformer架构(encoder-only、decoder-only、encoder-decoder各自优缺点，模型举例)。Encoder如何实现？Encoder和Decoder的区别是什么？ 「字节Seed、字节跳动、百度、阿里巴巴」
原题【主流Transformer模型】介绍主流Transformer-based模型架构。 「腾讯」
原题
暂无题目