真面经，好答案。面试之前，先来面栈。

大模型基础面试题

题集来源：阿东玩 AI（Adong）收录项目：AgentGuide查看原题集

题目目录

96 道原题

  1. 介绍一下RoPE位置编码

    原题
    关联题目RoPE 是什么，解决什么问题？模型基础与推理 / Tokenizer 与位置编码原理机制基础1篇相关面经

  2. 旋转位置编码为什么比绝对位置编码更好

    原题
    关联题目RoPE 是什么，解决什么问题？模型基础与推理 / Tokenizer 与位置编码原理机制基础1篇相关面经

  3. RMSNorm正则化有什么好处和优势

    原题
    关联题目RMSNorm 与 LayerNorm 有什么差异？模型基础与推理 / 模型架构与表示比较选型进阶1篇相关面经

  4. SwiGLU激活函数的原理

    原题
    关联题目SwiGLU 的门控前馈结构如何工作？模型基础与推理 / 模型架构与表示原理机制进阶0篇相关面经

  5. 为什么大模型用GQA(Group Query Attention)

    原题
    关联题目GQA 的原理是什么，如何在效果、速度和显存之间折中？模型基础与推理 / Transformer 与注意力原理机制进阶2篇相关面经

  6. Transformer模型中，最占用参数的是MLP层吗？

    原题
    关联题目Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经

  7. Transformer模型中计算量(FLOPs)的分析

    原题
    关联题目如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经

  8. Transformer模型中计算量(FLOPs)和参数的表格分析

    原题
    关联题目Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经关联题目如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经

  9. Multi-head Latent Attention(多头隐变量注意力)是什么？

    原题
    关联题目MLA 的原理是什么？模型基础与推理 / 模型架构与表示原理机制进阶3篇相关面经

  10. Linear Attention(线性注意力)是什么？

    原题
    关联题目线性注意力的基本原理是什么，它有哪些适用边界？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经