深度学习0:数学知识:(雅可比矩阵)

无题

      • [1. 先回顾一元导数](#1. 先回顾一元导数)
      • [2. 推广到多元:一个函数、多个输入](#2. 推广到多元:一个函数、多个输入)
      • [3. 再推广:多个函数、多个输入 → 雅可比矩阵](#3. 再推广:多个函数、多个输入 → 雅可比矩阵)
      • [4. 在具体一点上求值](#4. 在具体一点上求值)
      • [5. 验证一下](#5. 验证一下)
      • 6.深度学习中实际前向传播和后向传播的样子
        • [1. 前向传播 (Forward)](#1. 前向传播 (Forward))
        • [2. 反向传播 (Backward)](#2. 反向传播 (Backward))
      • [7. 一句话总结](#7. 一句话总结)

雅可比矩阵(Jacobian Matrix)是多元函数的一阶偏导数按一定方式排列成的矩阵。简单说:它描述一个向量函数在某一点附近的最佳线性近似,是导数在多维情况下的推广。

下面用一个最简单的例子一步步拆解。

1. 先回顾一元导数

对一元函数 y = f ( x ) y = f(x) y=f(x),导数 f ′ ( x ) f'(x) f′(x) 表示: x x x 变化一点点时, y y y 变化多少。

Δ y ≈ f ′ ( x ) Δ x \Delta y \approx f'(x) \Delta x Δy≈f′(x)Δx


2. 推广到多元:一个函数、多个输入

设

f ( x , y ) = x 2 + 3 y f(x, y) = x^2 + 3y f(x,y)=x2+3y

它有两个输入 x , y x, y x,y,一个输出。它的"梯度"是:

∇ f = ( ∂ f ∂ x , ∂ f ∂ y ) = ( 2 x , 3 ) \nabla f = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) = (2x, 3) ∇f=(∂x∂f,∂y∂f)=(2x,3)

梯度告诉你:每个输入单独变化时,输出怎么变。

3. 再推广:多个函数、多个输入 → 雅可比矩阵

现在考虑两个输入、两个输出的向量函数:

{ u = f 1 ( x , y ) = x 2 + y v = f 2 ( x , y ) = 3 x + 2 y \begin{cases} u = f_1(x, y) = x^2 + y \\ v = f_2(x, y) = 3x + 2y \end{cases} {u=f1(x,y)=x2+yv=f2(x,y)=3x+2y

写成向量形式:

F ( x , y ) = ( u v ) = ( x 2 + y 3 x + 2 y ) \mathbf{F}(x, y) = \begin{pmatrix} u \\ v \end{pmatrix} = \begin{pmatrix} x^2 + y \\ 3x + 2y \end{pmatrix} F(x,y)=(uv)=(x2+y3x+2y)

雅可比矩阵就是把每个输出对每个输入的偏导数排成一张表:

J = ( ∂ u ∂ x ∂ u ∂ y ∂ v ∂ x ∂ v ∂ y ) J = \begin{pmatrix} \frac{\partial u}{\partial x} & \frac{\partial u}{\partial y} \\ \frac{\partial v}{\partial x} & \frac{\partial v}{\partial y} \end{pmatrix} J=(∂x∂u∂x∂v∂y∂u∂y∂v)

逐项计算:

  • ∂ u / ∂ x = 2 x \partial u / \partial x = 2x ∂u/∂x=2x
  • ∂ u / ∂ y = 1 \partial u / \partial y = 1 ∂u/∂y=1
  • ∂ v / ∂ x = 3 \partial v / \partial x = 3 ∂v/∂x=3
  • ∂ v / ∂ y = 2 \partial v / \partial y = 2 ∂v/∂y=2

所以:

J ( x , y ) = ( 2 x 1 3 2 ) J(x, y) = \begin{pmatrix} 2x & 1 \\ 3 & 2 \end{pmatrix} J(x,y)=(2x312)

4. 在具体一点上求值

取点 ( x , y ) = ( 1 , 0 ) (x, y) = (1, 0) (x,y)=(1,0):

J ( 1 , 0 ) = ( 2 1 3 2 ) J(1, 0) = \begin{pmatrix} 2 & 1 \\ 3 & 2 \end{pmatrix} J(1,0)=(2312)

含义:在 ( 1 , 0 ) (1, 0) (1,0) 附近,输入微小变化 ( Δ x , Δ y ) (\Delta x, \Delta y) (Δx,Δy) 引起输出变化近似为:

( Δ u Δ v ) ≈ ( 2 1 3 2 ) ( Δ x Δ y ) \begin{pmatrix} \Delta u \\ \Delta v \end{pmatrix} \approx \begin{pmatrix} 2 & 1 \\ 3 & 2 \end{pmatrix} \begin{pmatrix} \Delta x \\ \Delta y \end{pmatrix} (ΔuΔv)≈(2312)(ΔxΔy)

展开就是:

Δ u ≈ 2 Δ x + 1 Δ y \Delta u \approx 2\Delta x + 1\Delta y Δu≈2Δx+1Δy

Δ v ≈ 3 Δ x + 2 Δ y \Delta v \approx 3\Delta x + 2\Delta y Δv≈3Δx+2Δy

这正是两个函数各自的一阶线性近似,雅可比矩阵把它们打包在一起。

5. 验证一下

在 ( 1 , 0 ) (1, 0) (1,0) 处, u = 1 2 + 0 = 1 u = 1^2 + 0 = 1 u=12+0=1, v = 3 ⋅ 1 + 2 ⋅ 0 = 3 v = 3 \cdot 1 + 2 \cdot 0 = 3 v=3⋅1+2⋅0=3。

取 Δ x = 0.01 , Δ y = 0.02 \Delta x = 0.01, \Delta y = 0.02 Δx=0.01,Δy=0.02:

  • 真实新点: x = 1.01 , y = 0.02 x = 1.01, y = 0.02 x=1.01,y=0.02
    • u = 1.01 2 + 0.02 = 1.0201 + 0.02 = 1.0401 u = 1.01^2 + 0.02 = 1.0201 + 0.02 = 1.0401 u=1.012+0.02=1.0201+0.02=1.0401
    • v = 3 ( 1.01 ) + 2 ( 0.02 ) = 3.03 + 0.04 = 3.07 v = 3(1.01) + 2(0.02) = 3.03 + 0.04 = 3.07 v=3(1.01)+2(0.02)=3.03+0.04=3.07
  • 真实变化: Δ u = 0.0401 , Δ v = 0.07 \Delta u = 0.0401, \Delta v = 0.07 Δu=0.0401,Δv=0.07

用雅可比近似:

Δ u ≈ 2 ( 0.01 ) + 1 ( 0.02 ) = 0.04 \Delta u \approx 2(0.01) + 1(0.02) = 0.04 Δu≈2(0.01)+1(0.02)=0.04

Δ v ≈ 3 ( 0.01 ) + 2 ( 0.02 ) = 0.07 \Delta v \approx 3(0.01) + 2(0.02) = 0.07 Δv≈3(0.01)+2(0.02)=0.07

非常接近(误差来自二阶小量)。

6.深度学习中实际前向传播和后向传播的样子

1. 前向传播 (Forward)

输入向量 (3×1)

X = x 1 x 2 x 3 X = \begin{bmatrix} x_1 \\ x_2 \\ x_3 \end{bmatrix} X= x1x2x3

→ \quad \rightarrow \quad → J → \quad \rightarrow \quad →

输出向量 (4×1)

Y = y 1 y 2 y 3 y 4 Y = \begin{bmatrix} y_1 \\ y_2 \\ y_3 \\ y_4 \end{bmatrix} Y= y1y2y3y4

雅可比矩阵 J (4行 × 3列)

J = ∂ y 1 ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 1 ∂ x 3 ∂ y 2 ∂ x 1 ∂ y 2 ∂ x 2 ∂ y 2 ∂ x 3 ∂ y 3 ∂ x 1 ∂ y 3 ∂ x 2 ∂ y 3 ∂ x 3 ∂ y 4 ∂ x 1 ∂ y 4 ∂ x 2 ∂ y 4 ∂ x 3 4 × 3 J = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_1}{\partial x_2} & \frac{\partial y_1}{\partial x_3} \\ \frac{\partial y_2}{\partial x_1} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_2}{\partial x_3} \\ \frac{\partial y_3}{\partial x_1} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_3}{\partial x_3} \\ \frac{\partial y_4}{\partial x_1} & \frac{\partial y_4}{\partial x_2} & \frac{\partial y_4}{\partial x_3} \end{bmatrix}_{4 \times 3} J= ∂x1∂y1∂x1∂y2∂x1∂y3∂x1∂y4∂x2∂y1∂x2∂y2∂x2∂y3∂x2∂y4∂x3∂y1∂x3∂y2∂x3∂y3∂x3∂y4 4×3


2. 反向传播 (Backward)

根据链式法则:输入梯度 = 雅可比矩阵的转置 × 输出梯度

输入梯度 (3×1)

∇ X L = ∂ L ∂ x 1 ∂ L ∂ x 2 ∂ L ∂ x 3 \nabla_X L = \begin{bmatrix} \frac{\partial L}{\partial x_1} \\ \frac{\partial L}{\partial x_2} \\ \frac{\partial L}{\partial x_3} \end{bmatrix} ∇XL= ∂x1∂L∂x2∂L∂x3∂L

→ = → \quad \rightarrow \quad = \quad \rightarrow \quad →=→

雅可比转置 (3×4)

J T = ∂ y 1 ∂ x 1 ∂ y 2 ∂ x 1 ∂ y 3 ∂ x 1 ∂ y 4 ∂ x 1 ∂ y 1 ∂ x 2 ∂ y 2 ∂ x 2 ∂ y 3 ∂ x 2 ∂ y 4 ∂ x 2 ∂ y 1 ∂ x 3 ∂ y 2 ∂ x 3 ∂ y 3 ∂ x 3 ∂ y 4 ∂ x 3 J^T = \begin{bmatrix} \frac{\partial y_1}{\partial x_1} & \frac{\partial y_2}{\partial x_1} & \frac{\partial y_3}{\partial x_1} & \frac{\partial y_4}{\partial x_1} \\ \frac{\partial y_1}{\partial x_2} & \frac{\partial y_2}{\partial x_2} & \frac{\partial y_3}{\partial x_2} & \frac{\partial y_4}{\partial x_2} \\ \frac{\partial y_1}{\partial x_3} & \frac{\partial y_2}{\partial x_3} & \frac{\partial y_3}{\partial x_3} & \frac{\partial y_4}{\partial x_3} \end{bmatrix} JT= ∂x1∂y1∂x2∂y1∂x3∂y1∂x1∂y2∂x2∂y2∂x3∂y2∂x1∂y3∂x2∂y3∂x3∂y3∂x1∂y4∂x2∂y4∂x3∂y4

→ × → \quad \rightarrow \quad \times \quad \rightarrow \quad →×→

输出梯度 (4×1)

∇ Y L = ∂ L ∂ y 1 ∂ L ∂ y 2 ∂ L ∂ y 3 ∂ L ∂ y 4 \nabla_Y L = \begin{bmatrix} \frac{\partial L}{\partial y_1} \\ \frac{\partial L}{\partial y_2} \\ \frac{\partial L}{\partial y_3} \\ \frac{\partial L}{\partial y_4} \end{bmatrix} ∇YL= ∂y1∂L∂y2∂L∂y3∂L∂y4∂L
💡 维度验算:

左边矩阵维度:(3 × 4)

右边向量维度:(4 × 1)

矩阵乘法法则:行乘列,内部维度 4 消掉,最终结果维度为 (3 × 1)。

这完美匹配了输入层需要更新的参数维度!

7. 一句话总结

概念 形式 含义
一元导数 f ′ ( x ) f'(x) f′(x) 1个数
梯度 ∇ f \nabla f ∇f 1行(或1列)向量
雅可比矩阵 J i j = ∂ f i / ∂ x j J_{ij} = \partial f_i / \partial x_j Jij=∂fi/∂xj 输出维度 × 输入维度的矩阵

雅可比矩阵 = 向量函数对向量输入的"导数表",每一行对应一个输出,每一列对应一个输入。它给出了函数在某点附近的最佳线性近似:

F ( x + Δ x ) ≈ F ( x ) + J ( x ) Δ x \mathbf{F}(\mathbf{x} + \Delta \mathbf{x}) \approx \mathbf{F}(\mathbf{x}) + J(\mathbf{x}) \Delta \mathbf{x} F(x+Δx)≈F(x)+J(x)Δx

相关推荐
美团技术团队1 小时前
《Agent评测白皮书》业务实践篇:商家 AI 助手的评测与优化闭环实践
人工智能
京东云开发者1 小时前
京东11.11大促系列|Super Agent 进群:今年11.11,多了个会主动干活的"数字人队长"
人工智能
对你无可奈何2 小时前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
七夜zippoe2 小时前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
AI导出鸭PC端2 小时前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端2 小时前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶2 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合3 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python
知行产研4 小时前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能