ReLU 激活函数

ReLU(Rectified Linear Unit,整流线性单元)是一种常用的激活函数,在深度学习中广泛应用于神经网络的隐藏层。ReLU 激活函数的定义非常简单:

ReLU(x)=max⁡(0,x)ReLU(x)=max(0,x)

这意味着对于输入 xx,如果 xx 大于 0,则输出 xx;如果 xx 小于或等于 0,则输出 0。

ReLU 的优点

  1. 计算简单

    • ReLU 函数在正区间是线性的,因此计算非常高效,只需要一个阈值操作。
  2. 缓解梯度消失问题

    • 与 Sigmoid 和 Tanh 等饱和激活函数相比,ReLU 在正区间内梯度为 1,不会出现梯度消失的问题,有助于加速训练过程。
  3. 稀疏性

    • ReLU 会使负值部分变为 0,从而引入稀疏性,这有助于简化模型并提高效率。
  4. 生物合理性

    • ReLU 的行为类似于神经元的"全或无"响应模式,更符合生物学上的神经元行为

ReLU 的缺点

  1. 死亡 ReLU 问题

    • 如果输入数据导致 ReLU 输出很多 0,这些神经元将不再对任何数据有响应,即它们的梯度永远为 0,无法进行更新。这种情况被称为"死亡 ReLU"。
  2. 非零中心

    • ReLU 输出的数据是非零中心的,可能会导致后续层的输入数据分布偏移,影响训练效果。

变种

为了克服 ReLU 的一些缺点,研究者提出了几种变种:

  1. Leaky ReLU

    • 定义为:Leaky ReLU(x)=max⁡(αx,x)Leaky ReLU(x)=max(αx,x)
    • 其中 αα 是一个小常数(例如 0.01),使得负区间也有一个较小的斜率,避免了死亡 ReLU 问题。
  2. Parametric ReLU (PReLU)

    • 定义为:PReLU(x)=max⁡(αx,x)PReLU(x)=max(αx,x)
    • 其中 αα 是一个可学习的参数,每个神经元可以有不同的 αα 值。
  3. Exponential Linear Units (ELU)

    • 定义为:ELU(x)={xif x>0α(exp⁡(x)−1)if x≤0ELU(x)={xα(exp(x)−1)if x>0if x≤0
    • ELU 在负区间有一个平滑的曲线,有助于使数据更加接近零中心,并且具有更好的梯度特性。
  4. Scaled Exponential Linear Units (SELU)

    • 定义为:SELU(x)=λ{xif x>0α(exp⁡(x)−1)if x≤0SELU(x)=λ{xα(exp(x)−1)if x>0if x≤0
    • SELU 通过特定的 λλ 和 αα 参数,使得网络能够自归一化(self-normalizing)。

    import torch

    创建一个张量

    x = torch.tensor([-1.0, 0.0, 1.0])

    应用 ReLU 激活函数

    relu_output = torch.relu(x)

    print(relu_output)

相关推荐
天天进步20153 分钟前
Python项目-基于Flask的个人博客系统设计与实现(1)
开发语言·python·flask
安然无虞5 分钟前
31天Python入门——第20天:魔法方法详解
开发语言·后端·爬虫·python
靠近彗星16 分钟前
基于 Vue + Django + MySQL 实现个人博客/CMS系统
前端·vue.js·python·mysql·django
机器鱼29 分钟前
1.2 基于卷积神经网络与SE注意力的轴承故障诊断
深度学习·机器学习·cnn
励志成为大佬的小杨31 分钟前
pytorch模型的进阶训练和性能优化
人工智能·pytorch·python
m0_490240671 小时前
软件自动化测试(1):python+selenium自动化测试环境搭建
开发语言·python·selenium
橘猫云计算机设计2 小时前
基于ssm的食物营养成分数据分析平台设计与实现(源码+lw+部署文档+讲解),源码可白嫖!
后端·python·信息可视化·数据挖掘·数据分析·django·毕业设计
牙牙要健康2 小时前
【目标检测】【深度学习】【Pytorch版本】YOLOV2模型算法详解
pytorch·深度学习·目标检测
wgc2k3 小时前
吴恩达深度学习复盘(4)神经网络的前向传播
人工智能·深度学习