返回全部题目← 上一题42 / 128下一题 →题库/模型基础与推理/Q-4694SwiGLU 的门控前馈结构如何工作？知识专题：模型架构与表示题目类型：原理机制技术难度：进阶收录题集：7 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录收录题集相关题目收录题集7 份深度学习基础汇编阿东玩 AI · AgentGuide · 2 条原题查看题集 →FFN结构与SwiGLUFFN一般是几层，中间的非线性变化是什么？现在变成了SwiGLU，优势是什么？手写SwiGLU；SwiGLU激活函数相比GeLU有什么优势？介绍使用GeLU的GLU块计算公式、使用GLU线性门接单元的FFN块计算公式、使用Swish的GLU块计算公式。【上下文不足】问我是否熟悉：RMS norm，layer Norm，激活函数（llava的），q-former，qk norm，rope，swigle 「百度」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →SwiGLU激活函数的原理京东高频面试题Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →SwiGLU原理，比relu好在哪深度学习核心概念Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →SwiGLU是什么？为什么LLaMA、DeepSeek等大模型选择SwiGLU作为FFN激活函数？深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 2 条原题查看题集 →Transformer 的 FFN（前馈网络）起什么作用？为什么大模型常用 SwiGLU 替代传统的 ReLU/GELU？在模型组件层面，LLM 常用 RMSNorm 和 SwiGLU 替代传统组件，原因是什么？展开剩余 2 份题集AI多模态精华版·主流模型核心技术Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Qwen2.5-VL 为什么要做 Window Attention 与 RMSNorm/SwiGLU 等高效化改造？模型架构与注意力Firefly · llm_interview_note · 1 条原题查看题集 →介绍一下 使用 Swish 的 GLU 块 计算公式？相关题目4 题0208Chat Template、System Prompt 和训练形成的行为先验有什么关系？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇0279MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？同一知识专题题目类型：故障排查技术难度：进阶相关面经：1 篇0511熟悉哪些大模型，它们的结构有何不同？同一知识专题题目类型：比较选型技术难度：进阶相关面经：6 篇0571Qwen3 与 BGE 编码模型原理是什么，Qwen3 编码模型如何训练？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题Transformer 中哪些模块可以共享权重，需满足什么条件？下一题 →Transformer 的 Attention 与 MLP 参数量如何分布，哪些条件决定占比？
