神经网络之反向传播

反向传播（Backpropagation ）是现代神经网络中最核心的算法之一，用于高效地计算神经网络中各参数的梯度，以便通过梯度下降等优化算法来更新参数，使损失函数最小化。

神经网络的训练本质上是一个优化问题 ：我们希望调整网络中的参数（权重和偏置），使得网络的输出更接近真实标签（最小化损失函数）。

为了做到这一点，需要计算损失函数对各个参数的导数，也就是梯度，然后使用如梯度下降（Gradient Descent）的方法更新参数。而神经网络层数较多（尤其是深度网络），直接计算梯度非常复杂，这时候就需要一个系统、可重复、高效的算法，这就是反向传播。

反向传播的核心思想是使用链式法则（Chain Rule），从输出层开始，逐层向前（即反向）传播误差，计算每一层的梯度。

假设我们有一个简单的网络结构：

输入层：输入 ( x \in \mathbb{R}^n )
隐藏层：
- 权重矩阵 ( W_1 \in \mathbb{R}^{h \times n} )
- 偏置向量 ( b_1 \in \mathbb{R}^h )
- 激活函数：ReLU 或 sigmoid，记为 ( \sigma )
输出层：
- 权重 ( W_2 \in \mathbb{R}^{m \times h} )
- 偏置 ( b_2 \in \mathbb{R}^m )
- 输出 ( \hat{y} \in \mathbb{R}^m )

损失对输出层输出的导数：

\\frac{\\partial L}{\\partial z_2} = \\hat{y} - y

然后对 ( W_2 ), ( b_2 ) 求导：

\\frac{\\partial L}{\\partial W_2} = \\frac{\\partial L}{\\partial z_2} \\cdot a_1\^T

\\frac{\\partial L}{\\partial b_2} = \\frac{\\partial L}{\\partial z_2}

用链式法则：

\\frac{\\partial L}{\\partial a_1} = W_2\^T \\cdot \\frac{\\partial L}{\\partial z_2}

激活函数求导（以 sigmoid 为例）：

\\frac{\\partial L}{\\partial z_1} = \\frac{\\partial L}{\\partial a_1} \\circ \\sigma'(z_1)

其中 ( \circ ) 表示逐元素相乘。

\\frac{\\partial L}{\\partial W_1} = \\frac{\\partial L}{\\partial z_1} \\cdot x\^T

\\frac{\\partial L}{\\partial b_1} = \\frac{\\partial L}{\\partial z_1}

实际神经网络实现中都是用矩阵运算（向量化）来提升效率，避免使用显式的 for 循环。

例如，对整个 mini-batch 的输入：

在反向传播中，传播的是"误差"或者说"梯度"：

我们从最后一层开始，有了损失对输出的导数，然后逐层向前传播这些导数，并计算每层的权重梯度。

复制代码

Forward:
x → [W1 + b1] → z1 → σ → a1 → [W2 + b2] → z2 → output → Loss

Backward:
∂L/∂z2 → ∂L/∂W2, ∂L/∂b2 → ∂L/∂a1 → ∂L/∂z1 → ∂L/∂W1, ∂L/∂b1

每一层都依赖上一层的梯度，通过链式法则进行递推。

框架如 PyTorch、TensorFlow 等都有自动微分引擎：

使用者只需要定义模型和损失函数，调用 .backward() 即可。

梯度消失/爆炸：
- 在深层网络或使用 sigmoid/tanh 时，梯度可能非常小或非常大，导致训练困难。
- 解决方法：ReLU、BatchNorm、残差连接等。
局部最小值或鞍点问题：
- 深度网络的损失函数可能存在很多鞍点或局部极小值。
计算效率问题：
- 需要高效的矩阵运算，使用 GPU 加速。

反向传播是一个基于链式法则的高效梯度计算算法，使得我们可以训练深度神经网络。