ReLU 激活函数

ReLU(Rectified Linear Unit,整流线性单元)是一种常用的激活函数,在深度学习中广泛应用于神经网络的隐藏层。ReLU 激活函数的定义非常简单:

ReLU(x)=max⁡(0,x)ReLU(x)=max(0,x)

这意味着对于输入 xx,如果 xx 大于 0,则输出 xx;如果 xx 小于或等于 0,则输出 0。

ReLU 的优点

  1. 计算简单

    • ReLU 函数在正区间是线性的,因此计算非常高效,只需要一个阈值操作。
  2. 缓解梯度消失问题

    • 与 Sigmoid 和 Tanh 等饱和激活函数相比,ReLU 在正区间内梯度为 1,不会出现梯度消失的问题,有助于加速训练过程。
  3. 稀疏性

    • ReLU 会使负值部分变为 0,从而引入稀疏性,这有助于简化模型并提高效率。
  4. 生物合理性

    • ReLU 的行为类似于神经元的"全或无"响应模式,更符合生物学上的神经元行为

ReLU 的缺点

  1. 死亡 ReLU 问题

    • 如果输入数据导致 ReLU 输出很多 0,这些神经元将不再对任何数据有响应,即它们的梯度永远为 0,无法进行更新。这种情况被称为"死亡 ReLU"。
  2. 非零中心

    • ReLU 输出的数据是非零中心的,可能会导致后续层的输入数据分布偏移,影响训练效果。

变种

为了克服 ReLU 的一些缺点,研究者提出了几种变种:

  1. Leaky ReLU

    • 定义为:Leaky ReLU(x)=max⁡(αx,x)Leaky ReLU(x)=max(αx,x)
    • 其中 αα 是一个小常数(例如 0.01),使得负区间也有一个较小的斜率,避免了死亡 ReLU 问题。
  2. Parametric ReLU (PReLU)

    • 定义为:PReLU(x)=max⁡(αx,x)PReLU(x)=max(αx,x)
    • 其中 αα 是一个可学习的参数,每个神经元可以有不同的 αα 值。
  3. Exponential Linear Units (ELU)

    • 定义为:ELU(x)={xif x>0α(exp⁡(x)−1)if x≤0ELU(x)={xα(exp(x)−1)if x>0if x≤0
    • ELU 在负区间有一个平滑的曲线,有助于使数据更加接近零中心,并且具有更好的梯度特性。
  4. Scaled Exponential Linear Units (SELU)

    • 定义为:SELU(x)=λ{xif x>0α(exp⁡(x)−1)if x≤0SELU(x)=λ{xα(exp(x)−1)if x>0if x≤0
    • SELU 通过特定的 λλ 和 αα 参数,使得网络能够自归一化(self-normalizing)。

    import torch

    创建一个张量

    x = torch.tensor([-1.0, 0.0, 1.0])

    应用 ReLU 激活函数

    relu_output = torch.relu(x)

    print(relu_output)

相关推荐
梨轻巧1 小时前
Maya Python基础: 类属性 VS 实例属性、实例方法、类方法、静态方法
python·maya
猿代码_xiao1 小时前
大模型微调完整步骤( LLama-Factory)
人工智能·深度学习·自然语言处理·chatgpt·llama·集成学习
江塘1 小时前
机器学习-KNN算法实战及模型评估可视化(C++/Python实现)
开发语言·c++·人工智能·python·算法·机器学习
Ro Jace1 小时前
机器学习、深度学习、信号处理领域常用公式速查表
深度学习·机器学习·信号处理
优秘UMI2 小时前
智能科技的附加特性:提升用户体验的多样选择
python·科技·其他·ai
加油吧zkf2 小时前
卷积神经网络(CNN)
人工智能·深度学习·cnn
蓝博AI2 小时前
基于卷积神经网络的汽车类型识别系统,resnet50,vgg16,resnet34【pytorch框架,python代码】
人工智能·pytorch·python·神经网络·cnn
麦麦大数据2 小时前
F039 python五种算法美食推荐可视化大数据系统vue+flask前后端分离架构
python·算法·vue·推荐算法·美食·五种算法
哥布林学者2 小时前
吴恩达深度学习课程二: 改善深层神经网络 第一周:深度学习的实践(二)
深度学习·ai
喆星时瑜3 小时前
ComfyUI本地部署Stable Diffusion:核心组件(Python、PyTorch、CUDA)版本与显卡配置全指南
pytorch·python·stable diffusion