无题
-
-
- [1. 先回顾一元导数](#1. 先回顾一元导数)
- [2. 推广到多元:一个函数、多个输入](#2. 推广到多元:一个函数、多个输入)
- [3. 再推广:多个函数、多个输入 → 雅可比矩阵](#3. 再推广:多个函数、多个输入 → 雅可比矩阵)
- [4. 在具体一点上求值](#4. 在具体一点上求值)
- [5. 验证一下](#5. 验证一下)
- 6.深度学习中实际前向传播和后向传播的样子
-
- [1. 前向传播 (Forward)](#1. 前向传播 (Forward))
- [2. 反向传播 (Backward)](#2. 反向传播 (Backward))
- [7. 一句话总结](#7. 一句话总结)
-
雅可比矩阵(Jacobian Matrix)是多元函数的一阶偏导数按一定方式排列成的矩阵。简单说:它描述一个向量函数在某一点附近的最佳线性近似,是导数在多维情况下的推广。
下面用一个最简单的例子一步步拆解。
1. 先回顾一元导数
对一元函数 y = f ( x ) y = f(x) y=f(x),导数 f ′ ( x ) f'(x) f′(x) 表示: x x x 变化一点点时, y y y 变化多少。
Δ y ≈ f ′ ( x ) Δ x \Delta y \approx f'(x) \Delta x Δy≈f′(x)Δx
2. 推广到多元:一个函数、多个输入
设
f ( x , y ) = x 2 + 3 y f(x, y) = x^2 + 3y f(x,y)=x2+3y
它有两个输入 x , y x, y x,y,一个输出。它的"梯度"是:
∇ f = ( ∂ f ∂ x , ∂ f ∂ y ) = ( 2 x , 3 ) \nabla f = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) = (2x, 3) ∇f=(∂x∂f,∂y∂f)=(2x,3)
梯度告诉你:每个输入单独变化时,输出怎么变。
3. 再推广:多个函数、多个输入 → 雅可比矩阵
现在考虑两个输入、两个输出的向量函数:
{ u = f 1 ( x , y ) = x 2 + y v = f 2 ( x , y ) = 3 x + 2 y \begin{cases} u = f_1(x, y) = x^2 + y \\ v = f_2(x, y) = 3x + 2y \end{cases} {u=f1(x,y)=x2+yv=f2(x,y)=3x+2y
写成向量形式:
F ( x , y ) = ( u v ) = ( x 2 + y 3 x + 2 y ) \mathbf{F}(x, y) = \begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} x^2 + y \\ 3x + 2y \end{pmatrix} F(x,y)=(uv)=(x2+y3x+2y)
雅可比矩阵就是把每个输出对每个输入的偏导数排成一张表:
J = ( ∂ u ∂ x ∂ u ∂ y ∂ v ∂ x ∂ v ∂ y ) J = \begin{pmatrix} \frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{pmatrix} J=(∂x∂u∂x∂v∂y∂u∂y∂v)
逐项计算:
- ∂ u / ∂ x = 2 x \partial u / \partial x = 2x ∂u/∂x=2x
- ∂ u / ∂ y = 1 \partial u / \partial y = 1 ∂u/∂y=1
- ∂ v / ∂ x = 3 \partial v / \partial x = 3 ∂v/∂x=3
- ∂ v / ∂ y = 2 \partial v / \partial y = 2 ∂v/∂y=2
所以:
J ( x , y ) = ( 2 x 1 3 2 ) J(x, y) = \begin{pmatrix} 2x & 1 \\ 3 & 2 \end{pmatrix} J(x,y)=(2x312)
4. 在具体一点上求值
取点 ( x , y ) = ( 1 , 0 ) (x, y) = (1, 0) (x,y)=(1,0):
J ( 1 , 0 ) = ( 2 1 3 2 ) J(1, 0) = \begin{pmatrix} 2 & 1 \\ 3 & 2 \end{pmatrix} J(1,0)=(2312)
含义:在 ( 1 , 0 ) (1, 0) (1,0) 附近,输入微小变化 ( Δ x , Δ y ) (\Delta x, \Delta y) (Δx,Δy) 引起输出变化近似为:
( Δ u Δ v ) ≈ ( 2 1 3 2 ) ( Δ x Δ y ) \begin{pmatrix} \Delta u \\ \Delta v \end{pmatrix} \approx \begin{pmatrix} 2 & 1 \\ 3 & 2 \end{pmatrix} \begin{pmatrix} \Delta x \\ \Delta y \end{pmatrix} (ΔuΔv)≈(2312)(ΔxΔy)
展开就是:
Δ u ≈ 2 Δ x + 1 Δ y \Delta u \approx 2\Delta x + 1\Delta y Δu≈2Δx+1Δy
Δ v ≈ 3 Δ x + 2 Δ y \Delta v \approx 3\Delta x + 2\Delta y Δv≈3Δx+2Δy
这正是两个函数各自的一阶线性近似,雅可比矩阵把它们打包在一起。
5. 验证一下
在 ( 1 , 0 ) (1, 0) (1,0) 处, u = 1 2 + 0 = 1 u = 1^2 + 0 = 1 u=12+0=1, v = 3 ⋅ 1 + 2 ⋅ 0 = 3 v = 3 \cdot 1 + 2 \cdot 0 = 3 v=3⋅1+2⋅0=3。
取 Δ x = 0.01 , Δ y = 0.02 \Delta x = 0.01, \Delta y = 0.02 Δx=0.01,Δy=0.02:
- 真实新点: x = 1.01 , y = 0.02 x = 1.01, y = 0.02 x=1.01,y=0.02
- u = 1.01 2 + 0.02 = 1.0201 + 0.02 = 1.0401 u = 1.01^2 + 0.02 = 1.0201 + 0.02 = 1.0401 u=1.012+0.02=1.0201+0.02=1.0401
- v = 3 ( 1.01 ) + 2 ( 0.02 ) = 3.03 + 0.04 = 3.07 v = 3(1.01) + 2(0.02) = 3.03 + 0.04 = 3.07 v=3(1.01)+2(0.02)=3.03+0.04=3.07
- 真实变化: Δ u = 0.0401 , Δ v = 0.07 \Delta u = 0.0401, \Delta v = 0.07 Δu=0.0401,Δv=0.07
用雅可比近似:
Δ u ≈ 2 ( 0.01 ) + 1 ( 0.02 ) = 0.04 \Delta u \approx 2(0.01) + 1(0.02) = 0.04 Δu≈2(0.01)+1(0.02)=0.04
Δ v ≈ 3 ( 0.01 ) + 2 ( 0.02 ) = 0.07 \Delta v \approx 3(0.01) + 2(0.02) = 0.07 Δv≈3(0.01)+2(0.02)=0.07
非常接近(误差来自二阶小量)。
6.深度学习中实际前向传播和后向传播的样子
1. 前向传播 (Forward)
输入向量 (3×1)
X = x 1 x 2 x 3 X = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} X= x1x2x3
→ \quad \rightarrow \quad → J → \quad \rightarrow \quad →
输出向量 (4×1)
Y = y 1 y 2 y 3 y 4 Y = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ y_4 \end{bmatrix} Y= y1y2y3y4
雅可比矩阵 J (4行 × 3列)
J = ∂ y 1 ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 1 ∂ x 3 ∂ y 2 ∂ x 1 ∂ y 2 ∂ x 2 ∂ y 2 ∂ x 3 ∂ y 3 ∂ x 1 ∂ y 3 ∂ x 2 ∂ y 3 ∂ x 3 ∂ y 4 ∂ x 1 ∂ y 4 ∂ x 2 ∂ y 4 ∂ x 3 4 × 3 J = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \frac{\partial y_1}{\partial x_3} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_2}{\partial x_3} \\ \frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_3}{\partial x_3} \\ \frac{\partial y_4}{\partial x_1} & \frac{\partial y_4}{\partial x_2} & \frac{\partial y_4}{\partial x_3} \end{bmatrix}_{4 \times 3} J= ∂x1∂y1∂x1∂y2∂x1∂y3∂x1∂y4∂x2∂y1∂x2∂y2∂x2∂y3∂x2∂y4∂x3∂y1∂x3∂y2∂x3∂y3∂x3∂y4 4×3
2. 反向传播 (Backward)
根据链式法则:输入梯度 = 雅可比矩阵的转置 × 输出梯度
输入梯度 (3×1)
∇ X L = ∂ L ∂ x 1 ∂ L ∂ x 2 ∂ L ∂ x 3 \nabla_X L = \begin{bmatrix} \frac{\partial L}{\partial x_1} \\ \frac{\partial L}{\partial x_2} \\ \frac{\partial L}{\partial x_3} \end{bmatrix} ∇XL= ∂x1∂L∂x2∂L∂x3∂L
→ = → \quad \rightarrow \quad = \quad \rightarrow \quad →=→
雅可比转置 (3×4)
J T = ∂ y 1 ∂ x 1 ∂ y 2 ∂ x 1 ∂ y 3 ∂ x 1 ∂ y 4 ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 2 ∂ x 2 ∂ y 3 ∂ x 2 ∂ y 4 ∂ x 2 ∂ y 1 ∂ x 3 ∂ y 2 ∂ x 3 ∂ y 3 ∂ x 3 ∂ y 4 ∂ x 3 J^T = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_2}{\partial x_1} & \frac{\partial y_3}{\partial x_1} & \frac{\partial y_4}{\partial x_1} \\ \frac{\partial y_1}{\partial x_2} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_4}{\partial x_2} \\ \frac{\partial y_1}{\partial x_3} & \frac{\partial y_2}{\partial x_3} & \frac{\partial y_3}{\partial x_3} & \frac{\partial y_4}{\partial x_3} \end{bmatrix} JT= ∂x1∂y1∂x2∂y1∂x3∂y1∂x1∂y2∂x2∂y2∂x3∂y2∂x1∂y3∂x2∂y3∂x3∂y3∂x1∂y4∂x2∂y4∂x3∂y4
→ × → \quad \rightarrow \quad \times \quad \rightarrow \quad →×→
输出梯度 (4×1)
∇ Y L = ∂ L ∂ y 1 ∂ L ∂ y 2 ∂ L ∂ y 3 ∂ L ∂ y 4 \nabla_Y L = \begin{bmatrix} \frac{\partial L}{\partial y_1} \\ \frac{\partial L}{\partial y_2} \\ \frac{\partial L}{\partial y_3} \\ \frac{\partial L}{\partial y_4} \end{bmatrix} ∇YL= ∂y1∂L∂y2∂L∂y3∂L∂y4∂L
💡 维度验算:左边矩阵维度:(3 × 4)
右边向量维度:(4 × 1)
矩阵乘法法则:行乘列,内部维度 4 消掉,最终结果维度为 (3 × 1)。
这完美匹配了输入层需要更新的参数维度!
7. 一句话总结
| 概念 | 形式 | 含义 |
|---|---|---|
| 一元导数 | f ′ ( x ) f'(x) f′(x) | 1个数 |
| 梯度 | ∇ f \nabla f ∇f | 1行(或1列)向量 |
| 雅可比矩阵 | J i j = ∂ f i / ∂ x j J_{ij} = \partial f_i / \partial x_j Jij=∂fi/∂xj | 输出维度 × 输入维度的矩阵 |
雅可比矩阵 = 向量函数对向量输入的"导数表",每一行对应一个输出,每一列对应一个输入。它给出了函数在某点附近的最佳线性近似:
F ( x + Δ x ) ≈ F ( x ) + J ( x ) Δ x \mathbf{F}(\mathbf{x} + \Delta \mathbf{x}) \approx \mathbf{F}(\mathbf{x}) + J(\mathbf{x}) \Delta \mathbf{x} F(x+Δx)≈F(x)+J(x)Δx