深度学习核心概念
PReLU与Leaky ReLU的区别是什么?PReLU的斜率参数是如何学习的?
原题ELU(Exponential Linear Unit)的设计思路是什么?与ReLU系列相比有何优势?
原题ELU的超参数α如何影响其行为?ELU的主要缺点是什么?
原题SELU(Scaled ELU)是什么?它如何实现自归一化(Self-Normalizing)特性?
原题对比Sigmoid、Tanh、ReLU、Leaky ReLU、ELU,在实际选型中如何决策?
原题GELU(Gaussian Error Linear Unit)的数学定义是什么?其设计直觉来自哪里?
原题GELU为什么在Transformer和大语言模型中被广泛采用?与ReLU相比有何优势?
原题GELU的近似计算公式是什么?在工程实现中为什么需要近似?
原题Swish(SiLU)激活函数的数学表达式是什么?它是如何被发现的?
原题Swish函数的非单调性有什么意义?为什么非单调激活函数可能表现更好?
原题
暂无题目