真面经，好答案。面试之前，先来面栈。

注意力机制

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

题目目录

33 道原题

  1. Transformer的输入包含哪些内容？

    原题
    关联题目Transformer 从接收用户输入到生成输出会经历哪些主要步骤？面前必看模型基础与推理 / Transformer 与注意力原理机制基础2篇相关面经

  2. 介绍一下Transformer中的Self-Attention机制

    原题
    关联题目Transformer 中的 Attention 如何计算？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶18篇相关面经

  3. 介绍一下TransFormer

    原题
    关联题目Transformer 的整体原理是什么？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶10篇相关面经

  4. Transformer模型中为什么使用Dropout？

    原题
    关联题目Dropout 为什么有助于缓解过拟合？模型训练与对齐 / 训练框架、调参与排障原理机制进阶0篇相关面经

  5. Transformer模型中学习率调整策略有何特点？

    原题
    关联题目预训练如何选择 warmup、余弦退火及动态学习率调度？模型训练与对齐 / 训练框架、调参与排障比较选型进阶1篇相关面经

  6. ROPE（Rotary Position Embedding）位置编码有何特点？

    原题
    关联题目RoPE 是什么，解决什么问题？模型基础与推理 / Tokenizer 与位置编码原理机制基础1篇相关面经

  7. 多头注意力机制MHA是Transformer模型中的核心组件,KVCache和GQA优化的核心思想？

    原题
    关联题目KV Cache 缓存什么，怎样影响推理速度和显存？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶5篇相关面经关联题目GQA 的原理是什么，如何在效果、速度和显存之间折中？模型基础与推理 / Transformer 与注意力原理机制进阶2篇相关面经

  8. 请简要介绍下Transformer中的QKV

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经

  9. 请简要介绍Layer-Normalization

    原题
    关联题目LayerNorm 在 Transformer 中有什么作用，通常放在哪里？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经

  10. Transformer训练和部署技巧

    原题
    关联题目训练时如何选择关键超参数并判断其影响？模型训练与对齐 / 训练框架、调参与排障方案设计进阶2篇相关面经关联题目有哪些大模型推理加速技术？已有答案模型基础与推理 / 推理优化与模型压缩方案设计进阶3篇相关面经