返回全部题目← 上一题37 / 128下一题 →题库/模型基础与推理/Q-4499大语言模型常用哪些激活函数，为什么采用这些函数？知识专题：模型架构与表示题目类型：原理机制技术难度：进阶相关面经：1 篇收录题集：14 份暂无参考答案未标记未标记待复习已掌握收藏询问 AI选择 AI 平台KimiKimi（新窗口打开）Qwen千问（新窗口打开）OpenAIChatGPT（新窗口打开）自动带入当前题目本题目录相关面经收录题集相关题目相关面经1 篇百度AI Infra2026-08-13秋招一面查看原面经 →Transformer中的FFN模块作用是什么？常见激活函数有哪些？不同激活函数有什么区别？收录题集14 份公司案例问答汇编阿东玩 AI · AgentGuide · 1 条原题查看题集 →八股:激活函数有了解吗,你知道哪些LLM常用的激活函数?为什么选用它?预训练与架构阿东玩 AI · AgentGuide · 1 条原题查看题集 →【激活函数】各LLM都使用哪种激活函数？ 「腾讯」深度学习基础汇编阿东玩 AI · AgentGuide · 6 条原题查看题集 →激活函数与FFNFFN常用激活函数（如ReLU）的公式、用法及存在的问题。常见激活函数有哪些？请列出并说明。【LLM激活函数】各LLMs都使用哪种激活函数？ 「腾讯混元」【Sigmoid在MLP中的问题】MLP中激活函数为什么不用sigmoid，有什么问题么？ 「阿里巴巴」展开其余 3 条原题【非线性来源】非线性由什么来提供？ 「字节Seed」【上下文不足】问我是否熟悉：RMS norm，layer Norm，激活函数（llava的），q-former，qk norm，rope，swigle 「百度」【激活函数与梯度问题】激活函数与梯度问题：ReLU为什么能缓解梯度消失？介绍常见的激活函数，sigmoid为什么会导致梯度消失或梯度爆炸？你知道哪些LLM常用的激活函数？ 「百度、美团、阿里巴巴」大模型基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →Transformer前馈神经网络用的是什么激活函数？理论基础面试题阿东玩 AI · AgentGuide · 1 条原题查看题集 →激活函数有了解吗,你知道哪些LLM常用的激活函数?为什么选用它?展开剩余 9 份题集激活函数Rocky Ding · AIGC-Interview-Book · 26 条原题查看题集 →激活函数的作用，常用的激活函数有哪些什么是激活函数？为什么要使用激活函数？ReLU激活函数的优点和缺点是什么？展开其余 23 条原题Leaky ReLU是如何解决ReLU的神经元死亡问题的？什么是激活函数的“饱和区”？Sigmoid和Tanh函数的饱和区分别是什么？什么是激活函数的“零中心化”？为什么零中心化很重要？什么是Softplus激活函数？为什么神经网络需要非线性激活函数ReLU激活函数相比Sigmoid的优势是什么没有激活函数的神经网络会有什么问题不同层（输入层、隐藏层、输出层）选择激活函数的一般思路是什么激活函数如何影响神经网络的表达能力和训练速度分类任务和回归任务在选择激活函数时的主要区别是什么深度神经网络中选择激活函数时，如何避免梯度消失问题递归神经网络（RNN）为什么常选择Tanh或Sigmoid作为激活函数卷积神经网络（CNN）的卷积层和全连接层在激活函数选择上有何不同当训练数据量较小时，选择激活函数应注意什么使用Batch Normalization时，对激活函数的选择有什么影响多标签分类任务中，输出层通常选择什么激活函数，为什么激活函数必须具备非线性性质的原因是什么激活函数的可微性对神经网络训练有什么意义什么是激活函数的非饱和性，它有什么优势激活函数的稀疏激活性质对神经网络有什么好处零均值输出的激活函数有什么优势，举例说明激活函数的计算高效性在实际工程中有什么重要性激活函数的各项性质要求（如非线性、可微性、非饱和性）之间是否存在冲突，如何权衡深度网络架构Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →卷积操作的线性特性，结合激活函数后有何变化？深度学习核心概念Rocky Ding · AIGC-Interview-Book · 23 条原题查看题集 →激活函数在神经网络中的核心作用是什么？没有激活函数会发生什么？为什么激活函数必须是非线性的？线性激活函数有什么本质缺陷？一个好的激活函数应该具备哪些性质？展开其余 20 条原题激活函数的饱和性（Saturation）是什么？饱和区域对梯度有什么影响？激活函数的输出分布对后续层的训练有什么影响？零中心化（Zero-Centered）为何重要？激活函数的计算效率对工业部署有什么影响？如何权衡性能与效率？Sigmoid函数的数学表达式是什么？它的输出范围和梯度特性是什么？Sigmoid函数的非零中心问题是什么？为什么会导致梯度更新低效？Sigmoid在深度网络中是否已被完全淘汰？目前仍适用于哪些场景？为什么用Sigmoid？Tanh函数与Sigmoid函数的关系是什么？Tanh解决了Sigmoid的哪些问题？Tanh函数仍然存在什么问题？在什么场景下优于Sigmoid？ReLU函数的数学定义是什么？它为什么能有效缓解梯度消失问题？ReLU的计算优势体现在哪里？为什么在CNN和MLP中被广泛采用？什么是"神经元死亡"（Dying ReLU）问题？它是如何产生的，如何解决？ReLU的输出非零中心对梯度更新有什么影响？Leaky ReLU的提出动机是什么？负半轴的斜率参数如何设置？PReLU与Leaky ReLU的区别是什么？PReLU的斜率参数是如何学习的？ELU（Exponential Linear Unit）的设计思路是什么？与ReLU系列相比有何优势？ELU的超参数α如何影响其行为？ELU的主要缺点是什么？对比Sigmoid、Tanh、ReLU、Leaky ReLU、ELU，在实际选型中如何决策？GELU为什么在Transformer和大语言模型中被广泛采用？与ReLU相比有何优势？Swish与GELU在数学形式上有何相似之处？二者在实际应用中有何差异？深度学习精华·深度学习基础Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →深度学习是如何处理非线性问题的？深度学习精华·网络架构Rocky Ding · AIGC-Interview-Book · 4 条原题查看题集 →介绍一下激活函数的定义及原理。介绍一下激活函数有哪几类，常用经典激活函数有哪些？有哪些激活函数在AIGC时代取得了大量的应用，它们有什么优势？展开其余 1 条原题激活函数在使用中有哪些典型的问题？深度学习精华·训练与优化Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →常见的激活函数有哪些（ReLU/GELU/SiLU/SwiGLU）？各自的原理与适用场景是什么？为什么大模型普遍用 GELU/SiLU？数学基础高频考点Rocky Ding · AIGC-Interview-Book · 1 条原题查看题集 →Sigmoid、Tanh、ReLU、GELU、SiLU 的导数和梯度问题是什么？计算机视觉基础Datawhale · daily-interview · 3 条原题查看题集 →激活函数是什么？你知道哪些常用的激活函数？为什么神经网络种常用relu作为激活函数？Relu比Sigmoid的效果好在哪里?LLM、VLM 与 Agent 面试题Datawhale · hello-agents · 1 条原题查看题集 →激活函数有了解吗，你知道哪些LLM常用的激活函数？为什么选用它？相关题目4 题0208Chat Template、System Prompt 和训练形成的行为先验有什么关系？同一知识专题题目类型：比较选型技术难度：进阶相关面经：1 篇0279MoE 负载均衡损失与专家路由塌缩有什么关系，如何稳定路由？同一知识专题题目类型：故障排查技术难度：进阶相关面经：1 篇0511熟悉哪些大模型，它们的结构有何不同？同一知识专题题目类型：比较选型技术难度：进阶相关面经：6 篇0571Qwen3 与 BGE 编码模型原理是什么，Qwen3 编码模型如何训练？同一知识专题题目类型：原理机制技术难度：进阶相关面经：2 篇♥♥♥♥♥← 上一题已到最后一题← 上一题传统残差连接有什么局限，有哪些改进方向？下一题 →介绍你研读过的 Qwen、DeepSeek 等开源模型及其主要创新。
