返回全部题目← 上一题28 / 67下一题 →题库/模型基础与推理/Q-4592LayerNorm 在 Transformer 中有什么作用，通常放在哪里？知识专题：Transformer 与注意力题目类型：原理机制技术难度：进阶收录题集：9 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集9 份深度学习基础汇编阿东玩 AI · AgentGuide · 5 条原题查看题集 →【残差连接与层归一化顺序】残差连接与层归一化顺序：a(x)+LayerNorm(x)还是LayerNorm(x+a(x))？为什么这样选择？ 「蚂蚁集团」【Add & Norm】Transformer中的Add&Norm模块，具体是怎么做的？ 「腾讯混元」【Pre-Norm vs Post-Norm】Transformer中FFN等模块的顺序是什么？Pre-Norm和Post-Norm的设计差异是什么？ 「字节跳动、腾讯」展开其余 2 条原题归一化层实现与对比：Pre-LN与Post-LN区别？对训练稳定性、收敛速度的影响？推荐任务更适合哪种？【归一化位置设计】现在常见的norm位置设计有什么差异，这些差异会对训练稳定性和效果带来什么影响？请比较Pre-LN、Post-LN、Sandwich-LN等不同位置设计的优缺点，并说明在Transformer中如何选择。 「字节跳动」大模型基础AMIT SHEKHAR · ai-engineering-interview-questions · 2 条原题查看题集 →Explain Layer NormalizationWhy do modern Transformers use Pre-LayerNorm (Pre-Norm) instead of Post-LayerNorm?快手高频面试题Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →PostNorm与PreNorm的优缺点PostNorm与PreNorm都需要warm up吗？深度网络架构Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →为什么Transformer块使用 LayerNorm 而不是 BatchNorm？LayerNorm 在 Transformer 的位置是哪里？在 Transformer 模型中，层归一化（Layer Normalization）和残差连接（Residual Connection）的目的是什么？注意力机制Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →请简要介绍Layer-Normalization展开剩余 4 份题集深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Transformer 中为什么要使用残差连接 + 层归一化？Pre-LN（前置）相比 Post-LN（后置）有什么区别？为什么大模型普遍用 Pre-LN？模型架构与工作原理Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →在大语言模型中，注意力（Attention），前馈层（FFN），残差连接和归一化各自解决什么问题？多模态理论知识Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →PostNorm和PreNorm这两个技术有什么优缺点？模型架构与注意力Firefly · llm_interview_note · 1 条原题查看题集 →为什么transformer块使用LayerNorm而不是BatchNorm？LayerNorm 在Transformer的位置是哪里？相关题目4 题0036Transformer 中的 Attention 如何计算？同一知识专题题目类型：原理机制技术难度：进阶相关面经：18 篇0268Self-Attention 为何利于并行训练，与 RNN 相比有哪些局限？同一知识专题题目类型：比较选型技术难度：进阶相关面经：2 篇0572Self-Attention 为什么需要 Scaling？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇0575手写 Multi-Head Attention。同一知识专题题目类型：代码题技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Softmax 是什么，在 Transformer 的哪些位置使用？下一题 →Transformer 与 RNN 在建模长距离依赖时有什么区别？
