真面经，好答案。面试之前，先来面栈。

大模型基础面试题

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

题目目录

96 道原题

  1. Transformer前馈神经网络用的是什么激活函数？

    原题
    关联题目大语言模型常用哪些激活函数，为什么采用这些函数？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经

  2. 简述一下Transformer的基本结构和原理

    原题
    关联题目Transformer 的整体原理是什么？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶10篇相关面经

  3. Transformer为什么使用多头注意力机制？

    原题
    关联题目为什么使用多头注意力而不换成单头？模型基础与推理 / Transformer 与注意力比较选型基础2篇相关面经

  4. Transformer为何让Q(查询)和K(键)使用独立的权重矩阵进行计算，为什么需要Q、K、V(查询、键、值)三个矩阵？

    原题
    关联题目Attention 的 Q、K、V 如何由输入变换得到？模型基础与推理 / Transformer 与注意力原理机制基础3篇相关面经

  5. 为什么在attention中要进行scaled(为什么除以√d_k)？

    原题
    关联题目Self-Attention 为什么需要 Scaling？已有答案模型基础与推理 / Transformer 与注意力原理机制进阶2篇相关面经

  6. Transformer的位置编码作用及局限性？

    原题
    关联题目位置编码的原理。已有答案模型基础与推理 / Tokenizer 与位置编码原理机制进阶4篇相关面经

  7. 为什么Transformer用LayerNorm而不用BatchNorm？

    原题
    关联题目Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？模型基础与推理 / Transformer 与注意力比较选型进阶0篇相关面经

  8. 解释一下KV Cache的原理

    原题
    关联题目KV Cache 缓存什么，怎样影响推理速度和显存？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶5篇相关面经

  9. Transformer相比RNN、LSTM的优势何在？

    原题
    关联题目Transformer 有哪些优劣势，与其他架构相比如何？已有答案模型基础与推理 / Transformer 与注意力比较选型进阶3篇相关面经

  10. Transformer在哪里做了权重共享？

    原题
    关联题目Transformer 中哪些模块可以共享权重，需满足什么条件？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经