真面经，好答案。面试之前，先来面栈。

注意力机制

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

题目目录

33 道原题

  1. Transformer Encoder 有什么子层？

    原题
    关联题目Transformer Encoder 的作用是什么？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经

  2. Transformer self-attention的公式是什么？

    原题
    关联题目Transformer 中的 Attention 如何计算？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶18篇相关面经

  3. Transformer的优缺点有哪些？

    原题
    关联题目Transformer 有哪些优劣势，与其他架构相比如何？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶3篇相关面经

  4. Encoder端和Decoder端是如何进行交互的？

    原题
    关联题目Cross-Attention 中 Q、K、V 分别来自哪里？模型基础与推理 / Transformer 与注意力原理机制基础1篇相关面经

  5. Transformer中为什么需要线性变换？

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经

  6. Transformer attention的注意力矩阵的计算为什么用乘法而不是加法？

    原题
    关联题目点积注意力与加性注意力有什么区别，为什么 Transformer 采用点积？模型基础与推理 / Transformer 与注意力比较选型进阶0篇相关面经

  7. transformer中的attention为什么scaled?

    原题
    关联题目Attention 为什么除以根号 d_k，不这样缩放还有什么替代方案？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经

  8. Transformer attention计算注意力矩阵的时候如何对padding做mask操作的？

    原题
    关联题目Attention 中如何屏蔽 Padding 位置，为什么应在 Softmax 前处理？模型基础与推理 / Transformer 与注意力原理机制基础0篇相关面经

  9. 介绍一下Transformer的残差结构及意义

    原题
    关联题目残差连接解决什么问题，如何理解其作用？模型基础与推理 / 模型架构与表示原理机制进阶3篇相关面经

  10. Transformer为什么使用LN而不是BN？

    原题
    关联题目Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？模型基础与推理 / Transformer 与注意力比较选型进阶0篇相关面经