ReLU 激活函数

帅维维2024-10-19 21:40

ReLU（Rectified Linear Unit，整流线性单元）是一种常用的激活函数，在深度学习中广泛应用于神经网络的隐藏层。ReLU 激活函数的定义非常简单：

ReLU(x)=max⁡(0,x)ReLU(x)=max(0,x)

这意味着对于输入 xx，如果 xx 大于 0，则输出 xx；如果 xx 小于或等于 0，则输出 0。

计算简单：
- ReLU 函数在正区间是线性的，因此计算非常高效，只需要一个阈值操作。
缓解梯度消失问题：
- 与 Sigmoid 和 Tanh 等饱和激活函数相比，ReLU 在正区间内梯度为 1，不会出现梯度消失的问题，有助于加速训练过程。
稀疏性：
- ReLU 会使负值部分变为 0，从而引入稀疏性，这有助于简化模型并提高效率。
生物合理性：
- ReLU 的行为类似于神经元的"全或无"响应模式，更符合生物学上的神经元行为

死亡 ReLU 问题：
- 如果输入数据导致 ReLU 输出很多 0，这些神经元将不再对任何数据有响应，即它们的梯度永远为 0，无法进行更新。这种情况被称为"死亡 ReLU"。
非零中心：
- ReLU 输出的数据是非零中心的，可能会导致后续层的输入数据分布偏移，影响训练效果。

为了克服 ReLU 的一些缺点，研究者提出了几种变种：

Leaky ReLU：
- 定义为：Leaky ReLU(x)=max⁡(αx,x)Leaky ReLU(x)=max(αx,x)
- 其中 αα 是一个小常数（例如 0.01），使得负区间也有一个较小的斜率，避免了死亡 ReLU 问题。
Parametric ReLU (PReLU)：
- 定义为：PReLU(x)=max⁡(αx,x)PReLU(x)=max(αx,x)
- 其中 αα 是一个可学习的参数，每个神经元可以有不同的 αα 值。
Exponential Linear Units (ELU)：
- 定义为：ELU(x)={xif x>0α(exp⁡(x)−1)if x≤0ELU(x)={xα(exp(x)−1)if x>0if x≤0
- ELU 在负区间有一个平滑的曲线，有助于使数据更加接近零中心，并且具有更好的梯度特性。
Scaled Exponential Linear Units (SELU)：
- 定义为：SELU(x)=λ{xif x>0α(exp⁡(x)−1)if x≤0SELU(x)=λ{xα(exp(x)−1)if x>0if x≤0
- SELU 通过特定的 λλ 和 αα 参数，使得网络能够自归一化（self-normalizing）。
import torch

创建一个张量

x = torch.tensor([-1.0, 0.0, 1.0])

应用 ReLU 激活函数

relu_output = torch.relu(x)

print(relu_output)

创建一个张量