深度学习基础汇编
介绍Transformer中的注意力机制，包括：
注意力机制的基本概念、公式（Q、K、V）及直观理解，为什么除以√dk，为什么减去max_x（数值稳定），Softmax后与V相乘的过程。
自注意力（self-attention）和交叉注意力（cross-attention）的区别与作用。
多头注意力（Multi-Head Attention）的结构：如何分头、如何拼接、多头优势（为什么单头不行）、注意力分数的物理意义、注意力层中的权重。
掩码注意力：因果自注意力（Causal Self-Attention）的掩码形式、掩码注意力的作用。
Transformer前向过程及每一步输入输出形状。
原题完整原题
【注意力机制与多头注意力】介绍Transformer中的注意力机制，包括：1. 注意力机制的基本概念、公式（Q、K、V）及直观理解，为什么除以√dk，为什么减去max_x（数值稳定），Softmax后与V相乘的过程。2. 自注意力（self-attention）和交叉注意力（cross-attention）的区别与作用。3. 多头注意力（Multi-Head Attention）的结构：如何分头、如何拼接、多头优势（为什么单头不行）、注意力分数的物理意义、注意力层中的权重。4. 掩码注意力：因果自注意力（Causal Self-Attention）的掩码形式、掩码注意力的作用。5. Transformer前向过程及每一步输入输出形状。 「京东、字节Seed、字节跳动、百度、百度文心、美团、腾讯、腾讯混元、蚂蚁集团、阿里巴巴、阿里通义」
【注意力机制细节】注意力机制具体怎么做的？说下attention计算公式，softmax去掉有什么影响？ 「蚂蚁集团、阿里巴巴」
原题【温度系数作用】温度系数t的作用？温度系数还有什么作用场景？ 「字节跳动」
原题【线性层层数】Transformer中线性层有几层？ 「蚂蚁集团」
原题注意力分数矩阵QKT为什么要除以sqrt(dk)？
并说明Transformer相比RNN和CNN在长依赖、并行计算和表达能力上分别解决了哪些核心问题？
同时解释Encoder和Decoder的结构区别及各自适用场景。
原题完整原题
【缩放因子原因】注意力分数矩阵QKT为什么要除以sqrt(dk)？并说明Transformer相比RNN和CNN在长依赖、并行计算和表达能力上分别解决了哪些核心问题？同时解释Encoder和Decoder的结构区别及各自适用场景。 「京东、字节跳动、百度、美团、腾讯、阿里巴巴、阿里通义」
【自注意力与交叉注意力】自注意力交叉注意力? 「百度」
原题【自注意力与多头注意力适用场景】自注意力和多头注意力分别适用于什么？ 「腾讯」
原题【自注意力机制】Transformer的自注意力机制是什么？请介绍其过程。Transformer自注意力输出是什么？ 「百度、蚂蚁集团」
原题【自注意力机制详解】自注意力机制(Self-Attention) 22:详细解释Transformer 中的自注意力机制(Self-Attention)，并阐述其计算过程和优势。自注意力机制请再介绍的细一点。自注意力机制的数学逻辑？ 「京东、美团、阿里通义」
原题【解码器KV来源】解码器处的K、V矩阵来自哪里？ 「阿里巴巴」
原题
暂无题目