神经网络为什么要用 ReLU 增加非线性？

在神经网络中使用 ReLU（Rectified Linear Unit） 作为激活函数的主要目的是引入非线性，这是神经网络能够学习复杂模式和解决非线性问题的关键。

1. 为什么需要非线性？

1.1 线性模型的局限性

如果神经网络只使用线性激活函数（如），那么无论网络有多少层，整个模型仍然是一个线性模型。这是因为多个线性变换的组合仍然是线性变换：

这样的模型无法学习复杂的非线性关系，表达能力非常有限。

1.2 非线性激活函数的作用

非线性激活函数（如 ReLU、Sigmoid、Tanh）能够打破线性关系，使神经网络能够学习复杂的非线性模式。通过堆叠多个非线性层，神经网络可以逼近任意复杂的函数。

2. ReLU 的定义

ReLU 的定义非常简单：

当输入 x>0 时，输出 x。
当输入 x≤0 时，输出 0。

3. ReLU 的优势

3.1 缓解梯度消失问题

在 Sigmoid 或 Tanh 激活函数中，当输入值较大或较小时，梯度会趋近于零，导致梯度消失问题。
ReLU 的梯度在正区间恒为 1，避免了梯度消失问题，使得深层网络的训练更加稳定。

3.2 计算高效

ReLU 的计算非常简单，只需要比较和取最大值操作，计算速度远快于 Sigmoid 和 Tanh。
在训练大规模神经网络时，ReLU 的高效计算能够显著加快训练速度。

3.3 稀疏激活

ReLU 会将负值输出为零，这使得神经网络的激活变得稀疏。
稀疏激活可以减少参数之间的依赖性，提高模型的泛化能力。

4. ReLU 的变体

尽管 ReLU 有很多优点，但它也存在一些问题（如神经元"死亡"问题）。因此，研究者提出了多种 ReLU 的变体：

4.1 Leaky ReLU

在负区间引入一个小的斜率，避免神经元"死亡"：

其中 α 是一个小的正数（如 0.01）。

4.2 Parametric ReLU (PReLU)

将 Leaky ReLU 的斜率 α 作为可学习参数，动态调整负区间的输出。

4.3 Exponential Linear Unit (ELU)

在负区间引入指数函数，平滑过渡：

5. ReLU 的代码实现

以下是 ReLU 及其变体的 PyTorch 展示：

python 复制代码

import torch
import torch.nn as nn

# 标准 ReLU
relu = nn.ReLU()
x = torch.tensor([-1.0, 2.0, -3.0, 4.0])
print(relu(x))  # 输出: tensor([0., 2., 0., 4.])

# Leaky ReLU
leaky_relu = nn.LeakyReLU(negative_slope=0.01)
print(leaky_relu(x))  # 输出: tensor([-0.0100,  2.0000, -0.0300,  4.0000])

# ELU
elu = nn.ELU(alpha=1.0)
print(elu(x))  # 输出: tensor([-0.6321,  2.0000, -0.9502,  4.0000])