返回全部题目← 上一题33 / 67下一题 →题库/模型基础与推理/Q-4696如何分析 Transformer 各模块的 FLOPs 及其随序列长度的变化？知识专题：Transformer 与注意力题目类型：原理机制技术难度：深入收录题集：11 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集11 份公司案例问答汇编阿东玩 AI · AgentGuide · 4 条原题查看题集 →参数量计算:Qwen-14B 的 "14B" 怎么算出来的?推理时FLOPs大概多少?项目:部署一个MOE架构的千分三的235b的一个模型,他所需要的算力大概是多少?八股:Transformer的计算复杂度分析,写伪代码展开其余 1 条原题八股:Transformer中哪个模块的计算量最大?如何优化AI系统与训练推理工程阿东玩 AI · AgentGuide · 1 条原题查看题集 →【计算量与访存量】attention层的计算量和访存量的计算，mlp层的计算量 「小红书」大模型基础面试题阿东玩 AI · AgentGuide · 2 条原题查看题集 →Transformer模型中计算量(FLOPs)的分析Transformer模型中计算量(FLOPs)和参数的表格分析深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer计算量最大的部分是哪里？如何优化？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer计算量最大的部分是哪里？展开剩余 6 份题集深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →大模型训练中，Transformer 的主要计算瓶颈在哪里？有哪些主流的并行训练方案（如 3D 并行）？模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →参数量、训练浮点运算次数（FLOPs）和训练显存为什么不能画等号？预训练：训练与数据处理Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →如何用 6ND 公式估算稠密与混合专家（MoE）预训练的浮点数计算次数（FLOPs）？如何分析分组注意力（GQA）、多头注意力（MQA） 和多头潜在注意力（MLA）对训练 FLOPs 的影响？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →常见追问：为什么注意力复杂度是 $O(S^2D)$？大模型与多模态数学专题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →为什么长上下文的核心瓶颈是注意力复杂度和 KV Cache？AI Infra：训练、推理与 GPU 平台工程Onefly · zero2Agent · 2 条原题查看题集 →如何从模型结构估算参数量、FLOPs、训练显存、推理访存与 MFU？Attention 与 FFN 的计算量和参数量谁更大？相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：18 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Transformer 为什么通常使用 LayerNorm 而不是 BatchNorm？下一题 →线性注意力的基本原理是什么，它有哪些适用边界？
