真面经，好答案。面试之前，先来面栈。

模型架构与工作原理

题集来源：Rocky Ding（WeThinkIn）收录项目：AIGC-Interview-Book查看原题集

题目目录

28 道原题

  1. 上下文窗口为什么不能靠修改一个配置项无限扩展？

    原题
    关联题目大语言模型的上下文窗口为什么有限？模型基础与推理 / 推理优化与模型压缩原理机制进阶0篇相关面经

  2. 位置内插（PI）、NTK感知（NTK-aware）、YaRN 和 LongRoPE 的核心思路有什么区别？

    原题
    关联题目位置内插、NTK-aware、YaRN 与 LongRoPE 如何扩展 RoPE 上下文？模型基础与推理 / Tokenizer 与位置编码比较选型深入0篇相关面经

  3. 标称上下文长度为什么不等于有效上下文长度？

    原题
    关联题目什么是上下文窗口，它如何约束提示设计与模型效果？模型基础与推理 / 推理与解码概念解释基础2篇相关面经

  4. 快速注意力（FlashAttention）为什么更快？它是否改变了注意力结果？

    原题
    关联题目FlashAttention 为什么能节省显存并提速，是否改变注意力结果？已有答案模型基础与推理 / 推理优化与模型压缩原理机制进阶2篇相关面经

  5. 滑动窗口、稀疏注意力和环注意力（Ring Attention）分别解决什么问题？

    原题
    关联题目滑动窗口注意力如何工作，有哪些计算与信息保留边界？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经关联题目稀疏注意力如何降低计算复杂度，常见连接模式有哪些？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经关联题目Ring Attention 如何通过跨设备分块计算扩展长序列注意力？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经

  6. QK-Norm 解决什么问题？它与快速注意力（FlashAttention）是同一类优化吗？

    原题
    关联题目QK-Norm 如何控制注意力分数尺度，与 FlashAttention 的优化目标有何不同？模型基础与推理 / Transformer 与注意力原理机制进阶0篇相关面经

  7. 如何根据模型配置估算参数量？

    原题
    关联题目Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经

  8. 参数量、训练浮点运算次数（FLOPs）和训练显存为什么不能画等号？

    原题
    关联题目Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？模型基础与推理 / 模型架构与表示原理机制进阶1篇相关面经关联题目如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？模型基础与推理 / Transformer 与注意力原理机制深入0篇相关面经关联题目如何估算 7B 模型训练显存，并量化 ZeRO 各阶段的节省？模型训练与对齐 / 分布式训练与计算硬件方案设计深入0篇相关面经