反向传播计算梯度举例

反向传播计算梯度举例

下面通过一个两层全连接神经网络 的完整数值案例，一步步演示反向传播（Backpropagation）计算梯度的全过程，核心思路是利用链式法则，从输出损失向输入层逐层反向传递误差，最终得到所有参数的梯度。

一、示例网络与初始设定

我们构造一个极简的神经网络：

• 输入层：2 个神经元 $x1=2,\; x2=3\; x\_1=2,\backslash \; x\_2=3$ x1=2, x2=3

• 隐藏层：1 个神经元，参数 $w1=0.5,\; w2=0.3,\; b1=0.1\; w\_1=0.5,\backslash \; w\_2=0.3,\backslash \; b\_1=0.1$ w1=0.5, w2=0.3, b1=0.1，激活函数为 Sigmoid： $\sigma (z)=\; 11+e-z\; \backslash sigma(z)=\backslash frac\{1\}\{1+e^\{-z\}\}$ σ(z)=1+e−z1

• 输出层：1 个神经元，参数 $w3=0.4,\; b2=0.2\; w\_3=0.4,\backslash \; b\_2=0.2$ w3=0.4, b2=0.2，激活函数为 Sigmoid

• 目标值： $t=1t=1$ t=1

• 损失函数：均方误差 $L=12(y-t)2\; L\; =\; \backslash frac\{1\}\{2\}(y-t)^2$ L=21(y−t)2（乘以 $12\; \backslash frac\{1\}\{2\}$ 21 是为了求导消去系数，不影响梯度方向）

变量之间的依赖关系（链式法则就是沿着这条路径把局部导数乘起来）：
$$w1,w2,b1\; ⏟\; 隐藏层参数\; \hspace{0.25em} ⟶\hspace{0.25em} zh\hspace{0.25em} \; \to \; \sigma \; \hspace{0.25em} h\hspace{0.25em} \; \to \; w3,\; b2\; \hspace{0.25em} zy\hspace{0.25em} \; \to \; \sigma \; \hspace{0.25em} y\hspace{0.25em} ⟶\hspace{0.25em} L\; \backslash underbrace\{w\_1,\; w\_2,\; b\_1\}\_\{\backslash text\{隐藏层参数\}\}\; \backslash ;\backslash longrightarrow\backslash ;\; z\_h\; \backslash ;\backslash xrightarrow\{\backslash \; \backslash sigma\backslash \; \}\backslash ;\; h\; \backslash ;\backslash xrightarrow\{\backslash \; w\_3,\backslash \; b\_2\backslash \; \}\backslash ;\; z\_y\; \backslash ;\backslash xrightarrow\{\backslash \; \backslash sigma\backslash \; \}\backslash ;\; y\; \backslash ;\backslash longrightarrow\backslash ;\; L$$ 隐藏层参数 w1,w2,b1⟶zh σ h w3, b2 zy σ y⟶L

• $w3,\; b2\; w\_3,\backslash \; b\_2$ w3, b2 经过 3 步影响 $LL$ L： $zy\to y\to L\; z\_y\; \backslash to\; y\; \backslash to\; L$ zy→y→L
• $w1,\; w2,\; b1\; w\_1,\backslash \; w\_2,\backslash \; b\_1$ w1, w2, b1 经过 5 步影响 $LL$ L： $zh\to h\to zy\to y\to L\; z\_h\; \backslash to\; h\; \backslash to\; z\_y\; \backslash to\; y\; \backslash to\; L$ zh→h→zy→y→L

二、第一步：前向传播（缓存中间结果）

反向传播依赖前向传播的中间值，因此先正向计算每一层的净输入和激活输出，并全部保存下来。

1. 隐藏层净输入 $zh=w1x1+w2x2+b1=0.5\times 2+0.3\times 3+0.1=2.0\; z\_h\; =\; w\_1\; x\_1\; +\; w\_2\; x\_2\; +\; b\_1\; =\; 0.5\; \backslash times\; 2\; +\; 0.3\; \backslash times\; 3\; +\; 0.1\; =\; 2.0$ zh=w1x1+w2x2+b1=0.5×2+0.3×3+0.1=2.0

2. 隐藏层激活输出 $h=\sigma (zh)=\; 11+e-2\; \approx \; 11+0.1353\; \approx 0.8808\; h\; =\; \backslash sigma(z\_h)\; =\; \backslash frac\{1\}\{1+e^\{-2\}\}\; \backslash approx\; \backslash frac\{1\}\{1+0.1353\}\; \backslash approx\; 0.8808$ h=σ(zh)=1+e−21≈1+0.13531≈0.8808

3. 输出层净输入 $zy=w3h+b2=0.4\times 0.8808+0.2\approx 0.5523\; z\_y\; =\; w\_3\; h\; +\; b\_2\; =\; 0.4\; \backslash times\; 0.8808\; +\; 0.2\; \backslash approx\; 0.5523$ zy=w3h+b2=0.4×0.8808+0.2≈0.5523

4. 输出层最终预测 $y=\sigma (zy)=\; 11+e-0.5523\; \approx \; 11+0.5756\; \approx 0.6347\; y\; =\; \backslash sigma(z\_y)\; =\; \backslash frac\{1\}\{1+e^\{-0.5523\}\}\; \backslash approx\; \backslash frac\{1\}\{1+0.5756\}\; \backslash approx\; 0.6347$ y=σ(zy)=1+e−0.55231≈1+0.57561≈0.6347

5. 计算当前损失 $L=12(y-t)2=12(0.6347-1)2\approx 0.0667\; L\; =\; \backslash frac\{1\}\{2\}(y-t)^2\; =\; \backslash frac\{1\}\{2\}(0.6347-1)^2\; \backslash approx\; 0.0667$ L=21(y−t)2=21(0.6347−1)2≈0.0667

三、第二步：反向传播（逐层求梯度）

我们的目标是求损失 $LL$ L 对所有参数 $w1,w2,b1,w3,b2\; w\_1,w\_2,b\_1,w\_3,b\_2$ w1,w2,b1,w3,b2 的偏导数（梯度）。

定义误差项 $\delta =\; \partial L\partial z\; \backslash delta\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; z\}$ δ=∂z∂L：表示损失对该层净输入的偏导，是反向传播的核心载体。

0. 要用到的三个基本导数

① 损失对预测值的导数

$$L=\; 12\; (y-t)2\Rightarrow \; \partial L\partial y\; =\; 12\; \cdot 2\hspace{0.17em}(y-t)\cdot 1=y-t\; L\; =\; \backslash tfrac\{1\}\{2\}(y-t)^2\; \backslash quad\backslash Rightarrow\backslash quad\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\; =\; \backslash tfrac\{1\}\{2\}\backslash cdot\; 2\backslash ,(y-t)\backslash cdot\; 1\; =\; y\; -\; t$$ L=21(y−t)2⇒∂y∂L=21⋅2(y−t)⋅1=y−t

② Sigmoid 的导数

$$\sigma (z)=\; 11+e-z\; =(1+e-z)-1\backslash sigma(z)\; =\; \backslash frac\{1\}\{1+e^\{-z\}\}\; =\; (1+e^\{-z\})^\{-1\}$$ σ(z)=1+e−z1=(1+e−z)−1

对 $zz$ z 求导（复合函数求导）：
$$\sigma \prime (z)=-1\cdot (1+e-z)-2\cdot (-e-z)=\; e-z(1+e-z)2\; =\; 11+e-z\; \cdot \; e-z1+e-z\; \backslash sigma\text{'}(z)\; =\; -1\backslash cdot(1+e^\{-z\})^\{-2\}\backslash cdot(-e^\{-z\})\; =\; \backslash frac\{e^\{-z\}\}\{(1+e^\{-z\})^2\}\; =\; \backslash frac\{1\}\{1+e^\{-z\}\}\; \backslash cdot\; \backslash frac\{e^\{-z\}\}\{1+e^\{-z\}\}$$ σ′(z)=−1⋅(1+e−z)−2⋅(−e−z)=(1+e−z)2e−z=1+e−z1⋅1+e−ze−z

其中第二个分式可以改写为：
$$e-z1+e-z\; =\; (1+e-z)-11+e-z\; =1-\; 11+e-z\; =1-\sigma (z)\; \backslash frac\{e^\{-z\}\}\{1+e^\{-z\}\}\; =\; \backslash frac\{(1+e^\{-z\})\; -\; 1\}\{1+e^\{-z\}\}\; =\; 1\; -\; \backslash frac\{1\}\{1+e^\{-z\}\}\; =\; 1\; -\; \backslash sigma(z)$$ 1+e−ze−z=1+e−z(1+e−z)−1=1−1+e−z1=1−σ(z)

所以：
$$\sigma \prime (z)=\sigma (z)\hspace{0.17em}(1-\sigma (z))\; \backslash boxed\{\backslash sigma\text{'}(z)\; =\; \backslash sigma(z)\backslash ,\backslash big(1-\backslash sigma(z)\backslash big)\}$$ σ′(z)=σ(z)(1−σ(z))

前向传播时 $\sigma (z)\backslash sigma(z)$ σ(z) 已经存下，反向时可以直接用输出值算导数，不用再算指数：
$$\partial y\; \partial zy\; =y(1-y),\; \partial h\; \partial zh\; =h(1-h)\; \backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\; =\; y(1-y),\backslash qquad\; \backslash frac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}\; =\; h(1-h)$$ ∂zy∂y=y(1−y),∂zh∂h=h(1−h)

③ 线性部分的导数

对净输入求偏导时，只把要求导的变量看成变量，其他都当常数。

由 $zy=w3h+b2\; z\_y\; =\; w\_3\; h\; +\; b\_2$ zy=w3h+b2：
$$\partial zy\; \partial w3\; =h,\; \partial zy\; \partial b2\; =1,\; \partial zy\; \partial h\; =w3\; \backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; w\_3\}\; =\; h,\backslash qquad\; \backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; b\_2\}\; =\; 1,\backslash qquad\; \backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; h\}\; =\; w\_3$$ ∂w3∂zy=h,∂b2∂zy=1,∂h∂zy=w3

由 $zh=w1x1+w2x2+b1\; z\_h\; =\; w\_1\; x\_1\; +\; w\_2\; x\_2\; +\; b\_1$ zh=w1x1+w2x2+b1：
$$\partial zh\; \partial w1\; =x1,\; \partial zh\; \partial w2\; =x2,\; \partial zh\; \partial b1\; =1\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_1\}\; =\; x\_1,\backslash qquad\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_2\}\; =\; x\_2,\backslash qquad\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; b\_1\}\; =\; 1$$ ∂w1∂zh=x1,∂w2∂zh=x2,∂b1∂zh=1

1. 输出层梯度（w₃, b₂）

输出层误差项由链式法则拆分为「损失对输出的偏导 × 激活函数导数」：

$\delta y=\; \partial L\; \partial zy\; =\; \partial L\partial y\; \cdot \; \partial y\; \partial zy\; \backslash delta\_y\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; z\_y\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\; \backslash cdot\; \backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}$ δy=∂zy∂L=∂y∂L⋅∂zy∂y

• 损失对预测值的偏导： $\partial L\partial y\; =y-t=0.6347-1=-0.3653\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\; =\; y\; -\; t\; =\; 0.6347\; -\; 1\; =\; -0.3653$ ∂y∂L=y−t=0.6347−1=−0.3653

• Sigmoid 导数性质： $\sigma \prime (z)=\sigma (z)(1-\sigma (z))\backslash sigma\text{'}(z)\; =\; \backslash sigma(z)(1-\backslash sigma(z))$ σ′(z)=σ(z)(1−σ(z))，因此： $\partial y\; \partial zy\; =\sigma \prime (zy)=y(1-y)=0.6347\times 0.3653\approx 0.2319\; \backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\; =\; \backslash sigma\text{'}(z\_y)\; =\; y(1-y)\; =\; 0.6347\; \backslash times\; 0.3653\; \backslash approx\; 0.2319$ ∂zy∂y=σ′(zy)=y(1−y)=0.6347×0.3653≈0.2319

代入得输出层误差项：

$\delta y=-0.3653\times 0.2319\approx -0.0847\; \backslash delta\_y\; =\; -0.3653\; \backslash times\; 0.2319\; \backslash approx\; -0.0847$ δy=−0.3653×0.2319≈−0.0847

∂L/∂w₃ 的完整推导

第 1 步：写出链式法则 （路径 $w3\to zy\to y\to L\; w\_3\; \backslash to\; z\_y\; \backslash to\; y\; \backslash to\; L$ w3→zy→y→L）
$$\partial L\; \partial w3\; =\; \partial L\partial y\; \cdot \; \partial y\; \partial zy\; \cdot \; \partial zy\; \partial w3\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\backslash cdot\backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\backslash cdot\backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; w\_3\}$$ ∂w3∂L=∂y∂L⋅∂zy∂y⋅∂w3∂zy

第 2 步：代入每一项的局部导数
$$\partial L\; \partial w3\; =(y-t)\cdot y(1-y)\cdot h\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; =\; (y-t)\backslash cdot\; y(1-y)\backslash cdot\; h$$ ∂w3∂L=(y−t)⋅y(1−y)⋅h

第 3 步：前两项合并为误差项 $\delta y\; \backslash delta\_y$ δy
$$\partial L\; \partial w3\; =\; (y-t)\hspace{0.17em}y(1-y)⏟\; \delta y\; \cdot h\Rightarrow \; \partial L\; \partial w3\; =\delta y\cdot h\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; =\; \backslash underbrace\{(y-t)\backslash ,y(1-y)\}\_\{\backslash delta\_y\}\backslash cdot\; h\; \backslash quad\backslash Rightarrow\backslash quad\; \backslash boxed\{\backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; =\; \backslash delta\_y\; \backslash cdot\; h\}$$ ∂w3∂L=δy (y−t)y(1−y)⋅h⇒∂w3∂L=δy⋅h

第 4 步：代入数值

权重梯度 = 误差项 × 该层输入（隐藏层输出 h）：
$$\partial L\; \partial w3\; =\delta y\cdot h\approx -0.0847\times 0.8808\approx -0.0746\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; =\; \backslash delta\_y\; \backslash cdot\; h\; \backslash approx\; -0.0847\; \backslash times\; 0.8808\; \backslash approx\; -0.0746$$ ∂w3∂L=δy⋅h≈−0.0847×0.8808≈−0.0746

∂L/∂b₂ 的完整推导

路径相同，只是最后一步换成对 $b2\; b\_2$ b2 求导：
$$\partial L\; \partial b2\; =\; \partial L\partial y\; \cdot \; \partial y\; \partial zy\; \cdot \; \partial zy\; \partial b2\; =\delta y\cdot \; 1⏟\; \partial zy/\partial b2\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; b\_2\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\backslash cdot\backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\backslash cdot\backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; b\_2\}\; =\; \backslash delta\_y\; \backslash cdot\; \backslash underbrace\{1\}\_\{\backslash partial\; z\_y/\backslash partial\; b\_2\}$$ ∂b2∂L=∂y∂L⋅∂zy∂y⋅∂b2∂zy=δy⋅∂zy/∂b2 1

偏置梯度 = 误差项（偏置对净输入的导数为 1）：
$$\partial L\; \partial b2\; =\delta y\approx -0.0847\; \backslash boxed\{\backslash frac\{\backslash partial\; L\}\{\backslash partial\; b\_2\}\; =\; \backslash delta\_y\; \backslash approx\; -0.0847\}$$ ∂b2∂L=δy≈−0.0847

因为 $zy=w3h+b2\; z\_y\; =\; w\_3\; h\; +\; b\_2$ zy=w3h+b2， $b2\; b\_2$ b2 每增加 1， $zy\; z\_y$ zy 就增加 1，所以偏置的梯度就是误差项本身，不用再乘任何输入。

2. 误差反向传递到隐藏层

隐藏层误差项需要先把输出层的误差"传回来"，再乘以隐藏层的激活导数：

$\delta h=\; \partial L\; \partial zh\; =\; \partial L\partial h\; \cdot \; \partial h\; \partial zh\; \backslash delta\_h\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; z\_h\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; h\}\; \backslash cdot\; \backslash frac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}$ δh=∂zh∂L=∂h∂L⋅∂zh∂h

• 损失对隐藏层输出的偏导（误差从输出层回传）： $\partial L\partial h\; =\; \partial L\; \partial zy\; \cdot \; \partial zy\; \partial h\; =\delta y\cdot w3\approx -0.0847\times 0.4=-0.0339\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; h\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; z\_y\}\; \backslash cdot\; \backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; h\}\; =\; \backslash delta\_y\; \backslash cdot\; w\_3\; \backslash approx\; -0.0847\; \backslash times\; 0.4\; =\; -0.0339$ ∂h∂L=∂zy∂L⋅∂h∂zy=δy⋅w3≈−0.0847×0.4=−0.0339

• 隐藏层激活函数导数： $\partial h\; \partial zh\; =\sigma \prime (zh)=h(1-h)=0.8808\times 0.1192\approx 0.1050\; \backslash frac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}\; =\; \backslash sigma\text{'}(z\_h)\; =\; h(1-h)\; =\; 0.8808\; \backslash times\; 0.1192\; \backslash approx\; 0.1050$ ∂zh∂h=σ′(zh)=h(1−h)=0.8808×0.1192≈0.1050

代入得隐藏层误差项：

$\delta h=-0.0339\times 0.1050\approx -0.00356\; \backslash delta\_h\; =\; -0.0339\; \backslash times\; 0.1050\; \backslash approx\; -0.00356$ δh=−0.0339×0.1050≈−0.00356

∂L/∂w₁ 的完整推导

第 1 步：写出完整的链式法则 （路径 $w1\to zh\to h\to zy\to y\to L\; w\_1\; \backslash to\; z\_h\; \backslash to\; h\; \backslash to\; z\_y\; \backslash to\; y\; \backslash to\; L$ w1→zh→h→zy→y→L，共 5 项）
$$\partial L\; \partial w1\; =\; \partial L\partial y\; \cdot \; \partial y\; \partial zy\; \cdot \; \partial zy\; \partial h\; \cdot \; \partial h\; \partial zh\; \cdot \; \partial zh\; \partial w1\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}\; =\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\backslash cdot\; \backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\backslash cdot\; \backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; h\}\backslash cdot\; \backslash frac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}\backslash cdot\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_1\}$$ ∂w1∂L=∂y∂L⋅∂zy∂y⋅∂h∂zy⋅∂zh∂h⋅∂w1∂zh

第 2 步：代入每一项

项	来源	值
$\partial L\partial y\; \backslash dfrac\{\backslash partial\; L\}\{\backslash partial\; y\}$ ∂y∂L	损失求导	$y-ty-t$ y−t
$\partial y\; \partial zy\; \backslash dfrac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}$ ∂zy∂y	输出层 Sigmoid 导数	$y(1-y)y(1-y)$ y(1−y)
$\partial zy\; \partial h\; \backslash dfrac\{\backslash partial\; z\_y\}\{\backslash partial\; h\}$ ∂h∂zy	$zy=w3h+b2\; z\_y\; =\; w\_3\; h\; +\; b\_2$ zy=w3h+b2 对 $hh$ h 求导	$w3\; w\_3$ w3
$\partial h\; \partial zh\; \backslash dfrac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}$ ∂zh∂h	隐藏层 Sigmoid 导数	$h(1-h)h(1-h)$ h(1−h)
$\partial zh\; \partial w1\; \backslash dfrac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_1\}$ ∂w1∂zh	$zh=w1x1+w2x2+b1\; z\_h\; =\; w\_1x\_1\; +\; w\_2x\_2\; +\; b\_1$ zh=w1x1+w2x2+b1 对 $w1\; w\_1$ w1 求导	$x1\; x\_1$ x1

$$\partial L\; \partial w1\; =(y-t)\cdot y(1-y)\cdot w3\cdot h(1-h)\cdot x1\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}\; =\; (y-t)\backslash cdot\; y(1-y)\backslash cdot\; w\_3\backslash cdot\; h(1-h)\backslash cdot\; x\_1$$ ∂w1∂L=(y−t)⋅y(1−y)⋅w3⋅h(1−h)⋅x1

第 3 步：分组，引出 $\delta h\; \backslash delta\_h$ δh

前两项是 $\delta y\; \backslash delta\_y$ δy，前四项合起来就是 $\delta h\; \backslash delta\_h$ δh：
$$\partial L\; \partial w1\; =\; (y-t)\hspace{0.17em}y(1-y)⏟\; \delta y\; \cdot w3\cdot h(1-h)\; ⏟\; \delta h\; \cdot x1\Rightarrow \; \partial L\; \partial w1\; =\delta h\cdot x1\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}\; =\; \backslash underbrace\{\backslash underbrace\{(y-t)\backslash ,y(1-y)\}$${\delta_y}\cdot w_3\cdot h(1-h)}{\delta_h}\cdot x_1 \quad\Rightarrow\quad \boxed{\frac{\partial L}{\partial w_1} = \delta_h \cdot x_1} ∂w1∂L=δh δy (y−t)y(1−y)⋅w3⋅h(1−h)⋅x1⇒∂w1∂L=δh⋅x1

其中：
$$\delta h=\; \delta y\cdot w3\; ⏟\; \partial L/\partial h\; \cdot \; h(1-h)⏟\; \partial h/\partial zh\; \backslash delta\_h\; =\; \backslash underbrace\{\backslash delta\_y\; \backslash cdot\; w\_3\}$${\partial L/\partial h}\cdot\underbrace{h(1-h)}{\partial h/\partial z_h} δh=∂L/∂h δy⋅w3⋅∂h/∂zh h(1−h)

• $\delta y\cdot w3\; \backslash delta\_y\; \backslash cdot\; w\_3$ δy⋅w3：输出层的误差，按连接权重 $w3\; w\_3$ w3 传回 到 $hh$ h
• 再乘 $h(1-h)h(1-h)$ h(1−h)：穿过隐藏层的 Sigmoid，得到 $\delta h\; \backslash delta\_h$ δh

第 4 步：代入数值

权重梯度 = 误差项 × 对应输入值：
$$\partial L\; \partial w1\; =\delta h\cdot x1\approx -0.00356\times 2\approx -0.00712\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}\; =\; \backslash delta\_h\; \backslash cdot\; x\_1\; \backslash approx\; -0.00356\; \backslash times\; 2\; \backslash approx\; -0.00712$$ ∂w1∂L=δh⋅x1≈−0.00356×2≈−0.00712

∂L/∂w₂ 的完整推导

前 4 项与 $w1\; w\_1$ w1 完全相同（都是 $\delta h\; \backslash delta\_h$ δh），只有最后一项变成 $\partial zh\; \partial w2\; =x2\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_2\}\; =\; x\_2$ ∂w2∂zh=x2：
$$\partial L\; \partial w2\; =\; \partial L\partial y\; \cdot \; \partial y\; \partial zy\; \cdot \; \partial zy\; \partial h\; \cdot \; \partial h\; \partial zh\; ⏟\; \delta h\; \cdot \; \partial zh\; \partial w2\; =\delta h\cdot x2\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_2\}\; =\; \backslash underbrace\{\backslash frac\{\backslash partial\; L\}\{\backslash partial\; y\}\backslash cdot\backslash frac\{\backslash partial\; y\}\{\backslash partial\; z\_y\}\backslash cdot\backslash frac\{\backslash partial\; z\_y\}\{\backslash partial\; h\}\backslash cdot\backslash frac\{\backslash partial\; h\}\{\backslash partial\; z\_h\}\}\_\{\backslash delta\_h\}\backslash cdot\backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; w\_2\}\; =\; \backslash delta\_h\backslash cdot\; x\_2$$ ∂w2∂L=δh ∂y∂L⋅∂zy∂y⋅∂h∂zy⋅∂zh∂h⋅∂w2∂zh=δh⋅x2
$$\partial L\; \partial w2\; =\delta h\cdot x2\approx -0.00356\times 3\approx -0.01068\; \backslash boxed\{\backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_2\}\; =\; \backslash delta\_h\; \backslash cdot\; x\_2\; \backslash approx\; -0.00356\; \backslash times\; 3\; \backslash approx\; -0.01068\}$$ ∂w2∂L=δh⋅x2≈−0.00356×3≈−0.01068

∂L/∂b₁ 的完整推导

最后一项变成 $\partial zh\; \partial b1\; =1\; \backslash frac\{\backslash partial\; z\_h\}\{\backslash partial\; b\_1\}\; =\; 1$ ∂b1∂zh=1，偏置梯度 = 误差项：
$$\partial L\; \partial b1\; =\delta h\cdot 1=\delta h\approx -0.00356\; \backslash boxed\{\backslash frac\{\backslash partial\; L\}\{\backslash partial\; b\_1\}\; =\; \backslash delta\_h\; \backslash cdot\; 1\; =\; \backslash delta\_h\; \backslash approx\; -0.00356\}$$ ∂b1∂L=δh⋅1=δh≈−0.00356

3. 梯度公式汇总

把 $\delta \backslash delta$ δ 全部代回去，每个梯度都可以写成只含已知量的式子：
$$\delta y=(y-t)\hspace{0.17em}y(1-y),\delta h=\delta y\hspace{0.17em}w3\hspace{0.17em}h(1-h)\; \backslash delta\_y\; =\; (y-t)\backslash ,y(1-y),\backslash qquad\; \backslash delta\_h\; =\; \backslash delta\_y\backslash ,\; w\_3\backslash ,\; h(1-h)$$ δy=(y−t)y(1−y),δh=δyw3h(1−h)

参数	用 δ 表示	完全展开	数值
$w3\; w\_3$ w3	$\delta y\hspace{0.17em}h\; \backslash delta\_y\backslash ,\; h$ δyh	$(y-t)\hspace{0.17em}y(1-y)\hspace{0.17em}h(y-t)\backslash ,y(1-y)\backslash ,h$ (y−t)y(1−y)h	-0.0746
$b2\; b\_2$ b2	$\delta y\; \backslash delta\_y$ δy	$(y-t)\hspace{0.17em}y(1-y)(y-t)\backslash ,y(1-y)$ (y−t)y(1−y)	-0.0847
$w1\; w\_1$ w1	$\delta h\hspace{0.17em}x1\; \backslash delta\_h\backslash ,\; x\_1$ δhx1	$(y-t)\hspace{0.17em}y(1-y)\hspace{0.17em}w3\hspace{0.17em}h(1-h)\hspace{0.17em}x1(y-t)\backslash ,y(1-y)\backslash ,w\_3\backslash ,h(1-h)\backslash ,x\_1$ (y−t)y(1−y)w3h(1−h)x1	-0.00712
$w2\; w\_2$ w2	$\delta h\hspace{0.17em}x2\; \backslash delta\_h\backslash ,\; x\_2$ δhx2	$(y-t)\hspace{0.17em}y(1-y)\hspace{0.17em}w3\hspace{0.17em}h(1-h)\hspace{0.17em}x2(y-t)\backslash ,y(1-y)\backslash ,w\_3\backslash ,h(1-h)\backslash ,x\_2$ (y−t)y(1−y)w3h(1−h)x2	-0.01068
$b1\; b\_1$ b1	$\delta h\; \backslash delta\_h$ δh	$(y-t)\hspace{0.17em}y(1-y)\hspace{0.17em}w3\hspace{0.17em}h(1-h)(y-t)\backslash ,y(1-y)\backslash ,w\_3\backslash ,h(1-h)$ (y−t)y(1−y)w3h(1−h)	-0.00356

校验：用数值微分 $L(w1+ϵ)-L(w1)\; ϵ\; \backslash frac\{L(w\_1+\backslash epsilon)-L(w\_1)\}\{\backslash epsilon\}$ ϵL(w1+ϵ)−L(w1) 计算 $\partial L\; \partial w1\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}$ ∂w1∂L，结果约为 $-0.0071148-0.0071148$ −0.0071148，与反向传播结果一致（表中 -0.00712 是用四舍五入后的 $\delta h\; \backslash delta\_h$ δh 计算的）。

四、第三步：梯度下降更新参数

得到所有梯度后，用梯度下降法更新参数（学习率 $\eta =0.1\backslash eta=0.1$ η=0.1 为例）：

$wnew\; =w-\eta \cdot \; \partial L\partial w\; w\_\{new\}\; =\; w\; -\; \backslash eta\; \backslash cdot\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\}$ wnew=w−η⋅∂w∂L

所有参数的更新结果：

参数	旧值	梯度	新值 $=w-0.1\times \; \partial L\partial w\; =\; w\; -\; 0.1\; \backslash times\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\}$ =w−0.1×∂w∂L
$w3\; w\_3$ w3	0.4	-0.0746	0.40746
$b2\; b\_2$ b2	0.2	-0.0847	0.20847
$w1\; w\_1$ w1	0.5	-0.00712	0.50071
$w2\; w\_2$ w2	0.3	-0.01068	0.30107
$b1\; b\_1$ b1	0.1	-0.00356	0.10036

梯度都是负数，说明这些参数增大可以让损失变小，所以全部往上调。

更新后的损失

用新参数重新做一次前向传播：

1. 隐藏层净输入 $zh=0.50071\times 2+0.30107\times 3+0.10036\approx 2.0050\; z\_h\; =\; 0.50071\; \backslash times\; 2\; +\; 0.30107\; \backslash times\; 3\; +\; 0.10036\; \backslash approx\; 2.0050$ zh=0.50071×2+0.30107×3+0.10036≈2.0050

2. 隐藏层激活输出 $h=\sigma (2.0050)\approx 0.8813h\; =\; \backslash sigma(2.0050)\; \backslash approx\; 0.8813$ h=σ(2.0050)≈0.8813

3. 输出层净输入 $zy=0.40746\times 0.8813+0.20847\approx 0.5676\; z\_y\; =\; 0.40746\; \backslash times\; 0.8813\; +\; 0.20847\; \backslash approx\; 0.5676$ zy=0.40746×0.8813+0.20847≈0.5676

4. 输出层最终预测 $y=\sigma (0.5676)\approx 0.6382y\; =\; \backslash sigma(0.5676)\; \backslash approx\; 0.6382$ y=σ(0.5676)≈0.6382

5. 更新后的损失 $L=12(0.6382-1)2\approx 0.06545\; L\; =\; \backslash frac\{1\}\{2\}(0.6382-1)^2\; \backslash approx\; 0.06545$ L=21(0.6382−1)2≈0.06545

	更新前	更新后	变化
预测值 $yy$ y	0.6347	0.6382	更接近目标值 1
损失 $LL$ L	0.06673	0.06545	下降约 1.9%

所有参数沿梯度反方向更新后，损失值确实下降了。重复「前向 → 反向 → 更新」的循环，就是神经网络的训练过程。

为什么损失只下降了约 2%：梯度消失

对比两层的梯度：

• 输出层： $\partial L\; \partial w3\; \approx -0.0746\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_3\}\; \backslash approx\; -0.0746$ ∂w3∂L≈−0.0746
• 隐藏层： $\partial L\; \partial w1\; \approx -0.00712\; \backslash frac\{\backslash partial\; L\}\{\backslash partial\; w\_1\}\; \backslash approx\; -0.00712$ ∂w1∂L≈−0.00712，小了约一个数量级

原因是隐藏层的梯度比输出层多乘了两个小于 1 的因子：
$$w3\times h(1-h)=0.4\times 0.1050\approx 0.042\; w\_3\; \backslash times\; h(1-h)\; =\; 0.4\; \backslash times\; 0.1050\; \backslash approx\; 0.042$$ w3×h(1−h)=0.4×0.1050≈0.042

而 Sigmoid 的导数 $\sigma (z)(1-\sigma (z))\backslash sigma(z)(1-\backslash sigma(z))$ σ(z)(1−σ(z)) 最大只有 0.25 （在 $z=0z=0$ z=0 时取到），本例中 $zh=2\; z\_h\; =\; 2$ zh=2，导数只有 0.105。每往回传一层，梯度都要再乘一次这样的小数，网络越深，前面几层的梯度就越接近 0，参数几乎不更新，这就是梯度消失。这也是现代深度网络多用 ReLU 激活函数、并加入残差连接的原因。

五、反向传播核心规律总结

1. 前向缓存 ：前向传播必须保存每一层的净输入 $zz$ z 和激活输出 $aa$ a，反向时直接复用，避免重复计算。

2. 误差反向流：误差从输出层向输入层传递，每一层误差 = 后一层误差 × 后一层权重 × 本层激活导数。

3. 梯度公式：权重梯度 = 该层误差项 × 该层的输入值；偏置梯度 = 该层误差项。

4. 高效性：反向传播的计算量和前向传播同阶，远优于逐个参数做数值求导，是深度网络训练的基础。