注意力机制
Transformer Encoder 有什么子层？
原题Transformer self-attention的公式是什么？
原题Transformer的优缺点有哪些？
原题Encoder端和Decoder端是如何进行交互的？
原题Transformer中为什么需要线性变换？
原题Transformer attention的注意力矩阵的计算为什么用乘法而不是加法？
原题transformer中的attention为什么scaled?
原题Transformer attention计算注意力矩阵的时候如何对padding做mask操作的？
原题介绍一下Transformer的残差结构及意义
原题Transformer为什么使用LN而不是BN？
原题Transformer的并行化体现在哪里，Decoder可以做并行化嘛？
原题Transformer计算量最大的部分是哪里？
原题Transformer、LSTM和单纯的前馈神经网络比，有哪些提升？
原题有哪些处理超长文本的方法？
原题Transformer为何不使用一个头而使用多头注意力机制？
原题Transformer为什么Q和K使用不同的权重矩阵，不能使用同一个值进行自身的点乘操作？
原题深度学习中有哪些常用的注意力机制？
原题注意力机制计算时，QKV的维度必须相同吗？
原题Transformer中的FeedForward模块有什么作用？
原题什么是Scaling-Law？
原题Transformer的输入包含哪些内容？
原题介绍一下Transformer中的Self-Attention机制
原题介绍一下TransFormer
原题Transformer模型中为什么使用Dropout？
原题Transformer模型中学习率调整策略有何特点？
原题ROPE（Rotary Position Embedding）位置编码有何特点？
原题多头注意力机制MHA是Transformer模型中的核心组件,KVCache和GQA优化的核心思想？
原题请简要介绍下Transformer中的QKV
原题请简要介绍Layer-Normalization
原题Transformer训练和部署技巧
原题介绍Transformer的Encoder模块和Decoder模块
原题Transformer和Mamba(SSM)的区别
原题介绍一下Transformer中KV Cache的原理
原题
暂无题目