真面经，好答案。面试之前，先来面栈。

注意力机制

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

题目目录

33 道原题

  1. Transformer的并行化体现在哪里，Decoder可以做并行化嘛？

    原题
    关联题目Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶2篇相关面经

  2. Transformer计算量最大的部分是哪里？

    原题
    关联题目如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经

  3. Transformer、LSTM和单纯的前馈神经网络比，有哪些提升？

    原题
    关联题目Transformer 有哪些优劣势，与其他架构相比如何？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶3篇相关面经

  4. 有哪些处理超长文本的方法？

    原题
    关联题目模型如何实现超长上下文能力？模型基础与推理 / 推理优化与模型压缩原理机制进阶3篇相关面经

  5. Transformer为何不使用一个头而使用多头注意力机制？

    原题
    关联题目为什么使用多头注意力而不换成单头？模型基础与推理 / Transformer 与注意力比较选型基础2篇相关面经

  6. Transformer为什么Q和K使用不同的权重矩阵，不能使用同一个值进行自身的点乘操作？

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经

  7. 深度学习中有哪些常用的注意力机制？

    原题
    关联题目常见 Attention 变体有哪些，Linear Attention 的基本思路是什么？模型基础与推理 / Transformer 与注意力原理机制进阶1篇相关面经

  8. 注意力机制计算时，QKV的维度必须相同吗？

    原题
    关联题目大模型推理中各层 Tensor 的维度如何变化？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经

  9. Transformer中的FeedForward模块有什么作用？

    原题
    关联题目Transformer 中逐位置前馈网络 FFN 有什么作用？模型基础与推理 / Transformer 与注意力原理机制基础1篇相关面经

  10. 什么是Scaling-Law？

    原题
    关联题目大模型预训练中的 Scaling Law 是什么，对资源配置有什么指导意义？模型训练与对齐 / 预训练、续训与 SFT原理机制进阶0篇相关面经