激活函数对比大全

激活函数的作用

激活函数为神经网络引入非线性,使模型能够学习复杂模式。不同激活函数在梯度传播、计算效率、输出范围等方面存在差异,直接影响训练效果。

常见激活函数对比

Sigmoid
  • 公式 :
    ( \sigma(x) = \frac{1}{1 + e^{-x}} )
  • 优点 :
    输出范围在(0,1),适合二分类问题的输出层。
  • 缺点 :
    易导致梯度消失(梯度在反向传播时趋近于0);计算量较大。
Tanh
  • 公式 :
    ( \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} )
  • 优点 :
    输出范围(-1,1),中心对称,梯度收敛比Sigmoid更快。
  • 缺点 :
    仍存在梯度消失问题。
ReLU (Rectified Linear Unit)
  • 公式 :
    ( \text{ReLU}(x) = \max(0, x) )
  • 优点 :
    计算高效;缓解梯度消失(正区间梯度恒为1)。
  • 缺点 :
    "神经元死亡"问题(负区间梯度为0,部分神经元可能永久失效)。
Leaky ReLU
  • 公式 :
    ( \text{LeakyReLU}(x) = \begin{cases} x & \text{if } x \geq 0 \ \alpha x & \text{if } x < 0 \end{cases} )
    (通常 ( \alpha = 0.01 ))
  • 优点 :
    解决ReLU的"神经元死亡"问题,负区间引入微小梯度。
  • 缺点 :
    需要手动调整 ( \alpha ) 超参数。
ELU (Exponential Linear Unit)
  • 公式 :
    ( \text{ELU}(x) = \begin{cases} x & \text{if } x \geq 0 \ \alpha(e^x - 1) & \text{if } x < 0 \end{cases} )
  • 优点 :
    负区间平滑收敛,缓解梯度消失;输出均值接近0,加速训练。
  • 缺点 :
    计算复杂度较高(涉及指数运算)。
Swish
  • 公式 :
    ( \text{Swish}(x) = x \cdot \sigma(\beta x) )
    (( \sigma )为Sigmoid函数,( \beta )可学习或固定)
  • 优点 :
    平滑非单调,实验显示在深层网络中表现优于ReLU。
  • 缺点 :
    计算量较大(包含Sigmoid运算)。

选择建议

  • 隐藏层: 优先使用ReLU或其变体(Leaky ReLU、ELU),平衡效率与性能。
  • 输出层 :
    • 二分类:Sigmoid
    • 多分类:Softmax
    • 回归:线性激活(无激活函数)或Tanh(输出需归一化时)。
  • 实验调优: 深层网络可尝试Swish或GELU(高斯误差线性单元)。

梯度对比示例

以反向传播为例:

  • ReLU梯度 :
    ( \frac{d}{dx}\text{ReLU}(x) = \begin{cases} 1 & \text{if } x > 0 \ 0 & \text{if } x \leq 0 \end{cases} )
  • Tanh梯度 :
    ( \frac{d}{dx}\tanh(x) = 1 - \tanh^2(x) )

通过对比可见,ReLU在正区间的梯度稳定性更优,而Tanh的梯度随输入变化剧烈。

相关推荐
哈尔滨张谦蛋20 小时前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5631 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
汤姆宝库2 天前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
tellmewhoisi2 天前
深度学习0:数学知识:(L1正则化和L2正则化)
人工智能·深度学习
AI小怪兽2 天前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
罗西的思考2 天前
【轻量化复现大模型 / KIMI K3】MTP / EAGLE‑3 模块交互式演示
人工智能·深度学习·算法
tellmewhoisi3 天前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
谙弆悕博士3 天前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
咕泡科技3 天前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习