模型架构与注意力
Transformer为何使用多头注意力机制？
原题Transformer为什么Q和K使用不同的权重矩阵生成，为何不能使用同一个值进行自身的点乘？
原题Transformer计算attention的时候为何选择点乘而不是加法？两者计算复杂度和效果上有什么区别？
原题在计算attention score的时候如何对padding做mask操作？
原题为什么在进行多头注意力的时候需要对每个head进行降维？
原题为何在获取输入词向量之后需要对矩阵乘以embedding size的开方？意义是什么？
原题简单介绍一下Transformer的位置编码？有什么意义和优缺点？
原题你还了解哪些关于位置编码的技术，各自的优缺点是什么？
原题为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？
原题简单描述一下Transformer中的前馈神经网络？使用了什么激活函数？相关优缺点？
原题
暂无题目