202_深度学习的动力源泉:矩阵微积分与自动求导 (Autograd)

在深度学习中,我们不仅仅是对单个变量求导,而是对整个向量或矩阵求导。理解梯度(Gradient)如何在高维空间中流动,是掌握反向传播算法的关键。

1. 导数的基本概念:从标量到向量

笔记中回顾了导数的本质:衡量输入发生微小变化时,输出变化的速率。

  • 标量导数:y = f(x)的导数 f'(x)。
  • 亚微分 (Subgradient):对于不可导的点(如 ReLU 在 x=0 处),引入亚微分的概念,确保优化过程在这些点依然可行。

2. 向量微积分:梯度 (Gradient)

当函数 y的输入是一个向量

时,导数就变成了梯度:

  • 几何意义 :梯度指向函数增长最快的方向。在训练中,我们沿着梯度的反方向走,这就是"梯度下降"。

3. 自动求导实战:PyTorch 的 backward()

PyTorch 强大的核心原因之一就是其自动求导系统。它会根据前向传播构建计算图,并自动推导出复杂的链式法则。

文件展示了如何对函数

进行求导:

Python

复制代码
import torch

# 1. 创建变量并声明需要计算梯度
x = torch.arange(4.0)
x.requires_grad_(True) # 默认是 False

# 2. 定义函数 y = 2 * (x的平方和)
y = 2 * torch.dot(x, x)

# 3. 反向传播
y.backward()

# 4. 查看梯度结果
# y = 2 * (x1^2 + x2^2 + ...) -> dy/dx = 4 * x
print(x.grad) 
print(x.grad == 4 * x) # 验证结果是否为 [0, 4, 8, 12]

4. 计算图与链式法则 (Chain Rule)

神经网络是由许多层堆叠而成的复合函数

。

  • 链式法则 :。
  • 计算图 :PyTorch 在后台将操作记录为有向无环图(DAG),.backward() 实际上是在这个图上从后往前进行拓扑遍历。

5. 进阶:分离计算与非标量求导

笔记中提到了两个非常实用的技巧:

① 分离计算 (detach)

有时我们希望将某些计算移出计算图,使其不参与梯度更新。

Python

复制代码
# z 对 x 的梯度不会通过 y 传递
y = x * x
u = y.detach() 
z = u * x
z.sum().backward()
print(x.grad == u) # 此时梯度只计入 u,不计入 y

② 非标量求导

PyTorch 通常只对标量输出求导。如果 y 是一个向量,调用 y.backward() 会报错。

  • 解决方法 :通常对 y.sum().backward() 进行操作,这相当于计算梯度向量。

6. 总结:矩阵计算的"三板斧"

  1. 定义变量 :使用 requires_grad_(True)。
  2. 构建逻辑:编写前向计算公式。
  3. 触发求导 :调用 .backward(),然后从 .grad 属性中提取结果。
相关推荐
吴佳浩2 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
岁月宁静5 小时前
五、《从零手撸 Agent》 — 什么是 Agent:从“会聊天”到“会做事”,差的就是一个循环
python·agent
梯度下降者5 小时前
Python - 函数
python·高阶函数·可调用对象·functools·嵌套作用域
forest_096 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区7 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔7 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区7 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
starzy19907 小时前
深入理解Scala隐式参数:上下文流转
开发语言·python·scala
努力的MM1238 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能