深度学习基础汇编
【Add & Norm】Transformer中的Add&Norm模块，具体是怎么做的？ 「腾讯混元」
原题【Attention Mask】Attention Mask的作用是什么？如何实现？Decoder的mask是怎么添加的，目的是什么？在预测next word时需要注意什么（mask机制）？Encoder和Decoder中的多头注意力机制有何不同？它们的注意力是否全局可见？掩码有何不同？表现是否一致？ 「京东、字节跳动、百度、阿里巴巴」
原题【Attention vs Self-Attention】Attention和self attention的区别？Self-Attention和Cross-Attention在作用上有什么区别？请对比其他注意力机制，并说明Qwen使用的是哪一种注意力？ 「百度、阿里巴巴」
原题【Attention复杂度】Attention的时间和空间复杂度是多少？为什么随着序列变长耗时增加很快？MHA的时间复杂度是多少？ 「字节Seed、字节跳动、腾讯」
原题【Attention缩放原因】Transformer中self-attention的计算过程是怎样的？为什么softmax之前要对点积结果进行缩放（除以√d_k）？除以d_k行不行？可以除以其他数吗？有没有等价的方法？ 「京东、字节Seed、字节跳动、拼多多、百度、百度文心、腾讯、蚂蚁集团、阿里巴巴、阿里通义」
原题【Encoder-Decoder交互】Decoder的因果注意力中，Q、K、V分别来自哪里？Transformer decoder和encoder有哪些不同的地方？cross attention中q,k,v分别来自哪里？Encoder端和Decoder端是如何进行交互的？ 「字节跳动、腾讯混元」
原题【Encoder-Decoder区别与Mask】Transformer里encoder和decoder的主要区别在哪里，为什么要做mask？ 「京东、字节跳动」
原题【FFN维度】FFN为什么通常是4×dim? 「京东」
原题【Multi-Head Attention优点】MHA的优点？Transformer中Multi-Head Attention的作用是什么? 「京东、百度文心」
原题【QKV作用】Transformer架构中Q、K、V矩阵各自有什么作用？ 「字节跳动」
原题
暂无题目