1. 计算图和导数
计算图的概念
计算图（Computation Graph）是一种有向无环图，用于表示数学表达式中的计算过程。每个节点表示一个操作或变量，每条边表示操作的依赖关系。通过计算图，可以轻松理解和实现反向传播。
计算图的意义
- 直观地展示复杂计算过程。
- 支持自动微分，通过链式规则计算导数。
- 应用于神经网络中梯度的高效计算。
例如，对于函数 z = ( x + y ) ⋅ w z = (x + y) \cdot w z=(x+y)⋅w ，其计算图包括三个节点（加法、乘法、输入变量）和两条边。
2. 计算代价函数的偏导 - 单神经元
代价函数的定义
代价函数衡量模型输出与真实值之间的差距，例如平方误差：
L = 1 2 ( y − y ^ ) 2 L = \frac{1}{2} (y - \hat{y})^2 L=21(y−y^)2
其中， y ^ \hat{y} y^ 是模型输出， y y y 是目标值。
单神经元的导数推导
假设输出为 y ^ = σ ( w x + b ) \hat{y} = \sigma(wx + b) y^=σ(wx+b) ，其中 σ \sigma σ 是激活函数（如 Sigmoid），导数计算如下：
-
对于权重 w w w ：
∂ L ∂ w = ∂ L ∂ y ^ ⋅ ∂ y ^ ∂ z ⋅ ∂ z ∂ w \frac{\partial L}{\partial w} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial w} ∂w∂L=∂y^∂L⋅∂z∂y^⋅∂w∂z -
对于偏置 b b b ：
∂ L ∂ b = ∂ L ∂ y ^ ⋅ ∂ y ^ ∂ z ⋅ ∂ z ∂ b \frac{\partial L}{\partial b} = \frac{\partial L}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z} \cdot \frac{\partial z}{\partial b} ∂b∂L=∂y^∂L⋅∂z∂y^⋅∂b∂z
意义
通过计算偏导数，可以更新参数 w w w 和 b b b 以最小化损失函数。
3. 链导法则求导
链导法则是反向传播的核心，其定义如下：
∂ L ∂ x = ∂ L ∂ y ⋅ ∂ y ∂ x \frac{\partial L}{\partial x} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial x} ∂x∂L=∂y∂L⋅∂x∂y
步骤：
- 先计算从输出到隐藏层的梯度。
- 再计算从隐藏层到输入的梯度。
例如，对于两层网络的损失函数 L = f ( g ( x ) ) L = f(g(x)) L=f(g(x)) ，使用链导法则：
∂ L ∂ x = ∂ f ∂ g ⋅ ∂ g ∂ x \frac{\partial L}{\partial x} = \frac{\partial f}{\partial g} \cdot \frac{\partial g}{\partial x} ∂x∂L=∂g∂f⋅∂x∂g
4. 过程解释
反向传播过程包括以下步骤：
- 前向传播：计算网络输出和损失函数。
- 反向传播：从输出层开始，逐层计算梯度。
- 更新参数：使用梯度下降或其变体更新参数。
假设两层网络的权重为 W 1 W_1 W1 和 W 2 W_2 W2 ，反向传播过程为：
-
计算输出层梯度 δ 2 \delta_2 δ2 ：
δ 2 = ∂ L ∂ z 2 = ∂ L ∂ y ^ ⋅ σ ′ ( z 2 ) \delta_2 = \frac{\partial L}{\partial z_2} = \frac{\partial L}{\partial \hat{y}} \cdot \sigma'(z_2) δ2=∂z2∂L=∂y^∂L⋅σ′(z2) -
计算隐藏层梯度 δ 1 \delta_1 δ1 ：
δ 1 = ( δ 2 ⋅ W 2 T ) ⋅ σ ′ ( z 1 ) \delta_1 = (\delta_2 \cdot W_2^T) \cdot \sigma'(z_1) δ1=(δ2⋅W2T)⋅σ′(z1) -
更新权重和偏置：
W 2 = W 2 − α ⋅ δ 2 ⋅ h 1 T W_2 = W_2 - \alpha \cdot \delta_2 \cdot h_1^T W2=W2−α⋅δ2⋅h1TW 1 = W 1 − α ⋅ δ 1 ⋅ x T W_1 = W_1 - \alpha \cdot \delta_1 \cdot x^T W1=W1−α⋅δ1⋅xT
5. 神经网络中的反向传播
多层网络中的反向传播
多层网络通过将链导法则逐层应用，从输出层反向传播至输入层。每层的梯度依赖于后一层的梯度。
实现代码示例
python
import numpy as np
# 定义激活函数及其导数
def sigmoid(x):
return 1 / (1 + np.exp(-x))
def sigmoid_derivative(x):
return sigmoid(x) * (1 - sigmoid(x))
# 前向传播
x = np.array([1, 2]) # 输入
w1 = np.array([[0.1, 0.2], [0.3, 0.4]]) # 权重
b1 = np.array([0.5, 0.5]) # 偏置
z1 = np.dot(w1, x) + b1
a1 = sigmoid(z1)
# 反向传播
delta = (a1 - 1) * sigmoid_derivative(z1)
grad_w1 = np.outer(delta, x)6. 计算代价函数的偏导 - 两层神经网络
两层神经网络的反向传播在单层基础上扩展，每层分别计算：
∂ L ∂ W 1 , ∂ L ∂ W 2 , ∂ L ∂ b 1 , ∂ L ∂ b 2 \frac{\partial L}{\partial W_1}, \frac{\partial L}{\partial W_2}, \frac{\partial L}{\partial b_1}, \frac{\partial L}{\partial b_2} ∂W1∂L,∂W2∂L,∂b1∂L,∂b2∂L
总结与意义
反向传播是神经网络训练的核心，通过计算梯度并更新参数，使得网络能够有效学习复杂的映射关系，从而提高模型的泛化能力。