ReLU 激活函数

ReLU(Rectified Linear Unit,整流线性单元)是一种常用的激活函数,在深度学习中广泛应用于神经网络的隐藏层。ReLU 激活函数的定义非常简单:

ReLU(x)=max⁡(0,x)ReLU(x)=max(0,x)

这意味着对于输入 xx,如果 xx 大于 0,则输出 xx;如果 xx 小于或等于 0,则输出 0。

ReLU 的优点

  1. 计算简单

    • ReLU 函数在正区间是线性的,因此计算非常高效,只需要一个阈值操作。
  2. 缓解梯度消失问题

    • 与 Sigmoid 和 Tanh 等饱和激活函数相比,ReLU 在正区间内梯度为 1,不会出现梯度消失的问题,有助于加速训练过程。
  3. 稀疏性

    • ReLU 会使负值部分变为 0,从而引入稀疏性,这有助于简化模型并提高效率。
  4. 生物合理性

    • ReLU 的行为类似于神经元的"全或无"响应模式,更符合生物学上的神经元行为

ReLU 的缺点

  1. 死亡 ReLU 问题

    • 如果输入数据导致 ReLU 输出很多 0,这些神经元将不再对任何数据有响应,即它们的梯度永远为 0,无法进行更新。这种情况被称为"死亡 ReLU"。
  2. 非零中心

    • ReLU 输出的数据是非零中心的,可能会导致后续层的输入数据分布偏移,影响训练效果。

变种

为了克服 ReLU 的一些缺点,研究者提出了几种变种:

  1. Leaky ReLU

    • 定义为:Leaky ReLU(x)=max⁡(αx,x)Leaky ReLU(x)=max(αx,x)
    • 其中 αα 是一个小常数(例如 0.01),使得负区间也有一个较小的斜率,避免了死亡 ReLU 问题。
  2. Parametric ReLU (PReLU)

    • 定义为:PReLU(x)=max⁡(αx,x)PReLU(x)=max(αx,x)
    • 其中 αα 是一个可学习的参数,每个神经元可以有不同的 αα 值。
  3. Exponential Linear Units (ELU)

    • 定义为:ELU(x)={xif x>0α(exp⁡(x)−1)if x≤0ELU(x)={xα(exp(x)−1)if x>0if x≤0
    • ELU 在负区间有一个平滑的曲线,有助于使数据更加接近零中心,并且具有更好的梯度特性。
  4. Scaled Exponential Linear Units (SELU)

    • 定义为:SELU(x)=λ{xif x>0α(exp⁡(x)−1)if x≤0SELU(x)=λ{xα(exp(x)−1)if x>0if x≤0
    • SELU 通过特定的 λλ 和 αα 参数,使得网络能够自归一化(self-normalizing)。

    import torch

    创建一个张量

    x = torch.tensor([-1.0, 0.0, 1.0])

    应用 ReLU 激活函数

    relu_output = torch.relu(x)

    print(relu_output)

相关推荐
CoovallyAIHub12 分钟前
开源的消逝与新生:从 TensorFlow 的落幕到开源生态的蜕变
pytorch·深度学习·llm
数据智能老司机5 小时前
精通 Python 设计模式——分布式系统模式
python·设计模式·架构
数据智能老司机6 小时前
精通 Python 设计模式——并发与异步模式
python·设计模式·编程语言
数据智能老司机6 小时前
精通 Python 设计模式——测试模式
python·设计模式·架构
数据智能老司机6 小时前
精通 Python 设计模式——性能模式
python·设计模式·架构
CoovallyAIHub6 小时前
港大&字节重磅发布DanceGRPO:突破视觉生成RLHF瓶颈,多项任务性能提升超180%!
深度学习·算法·计算机视觉
c8i6 小时前
drf初步梳理
python·django
每日AI新事件6 小时前
python的异步函数
python
CoovallyAIHub6 小时前
英伟达ViPE重磅发布!解决3D感知难题,SLAM+深度学习完美融合(附带数据集下载地址)
深度学习·算法·计算机视觉
这里有鱼汤7 小时前
miniQMT下载历史行情数据太慢怎么办?一招提速10倍!
前端·python