使用Pytorch自动计算梯度

使用Pytorch自动计算梯度

torch 包内为我们提供了很多有用的函数,让我们无需手动计算梯度:

python 复制代码
import torch

x=torch.tensor([1.,2.,3.,4.])

x.requires_grad_(True)
y=2*torch.dot(x,x)
# tensor(60., grad_fn=<MulBackward0>)

print(x.grad)
# None

y.backward()

print(x.grad)
# tensor([ 4.,  8., 12., 16.])

x.requires_grad_(True) 是为了告诉 torch ,我需要对 x 计算梯度。因为(对于一个有上万/亿参数的函数)计算梯度是非常消耗算力的,所以 torch 默认不会计算梯度,需要我们通过 requires_grad_(True) 显示声明。

但在实践过程中,我们不可能只取一个 x 的值(一个向量)来决定接下来应该如何调整运动轨迹。

如果我们选三个 x 的值,就得到三个梯度:

python 复制代码
import torch

x1 = torch.tensor([1., 2., 3., 4.])
x2 = torch.tensor([1., 3., 3., 1.])
x3 = torch.tensor([5., 2., 1., 4.])

x1.requires_grad_(True)
y1 = 2 * torch.dot(x1, x1)
y1.backward()
print(x1.grad)
# tensor([ 4.,  8., 12., 16.])

x2.requires_grad_(True)
y2 = 2 * torch.dot(x2, x2)
y2.backward()
print(x2.grad)
# tensor([ 4., 12., 12.,  4.])

x3.requires_grad_(True)
y3 = 2 * torch.dot(x3, x3)
y3.backward()
print(x3.grad)
# tensor([20.,  8.,  4., 16.])

但是,我们只需要一个梯度,来决定接下来的运动轨迹。可以选择将梯度相加,或者取平均值之类的方法,来得到一个统一的梯度。

放到数学上来说(数学意义),就是对于一个结果是向量的函数求导:

python 复制代码
import torch

x = torch.tensor([1., 2., 3., 4.])

x.requires_grad_(True)
y = 2 * x * x

print(y)
# tensor([ 2.,  8., 18., 32.], grad_fn=<MulBackward0>)

y.sum().backward()

print(x.grad)
kward0>)

y.sum().backward()

print(x.grad)
# tensor([ 4.,  8., 12., 16.])

我们通过 y.sum() 将函数的结果从向量压缩成标量,然后再求导,就获得了我们想要的梯度。

相关推荐
dozenyaoyida4 小时前
AI与大模型新闻日报 | 2026-10-17
人工智能·ai·chatgpt·新闻
遇码4 小时前
流式调用中途断连别直接报错:瞬态故障识别、退避重试与中文根因诊断的搭建方法
大数据·人工智能·ai·rust·数据分析·大模型·agent
信誓旦旦的程序猿4 小时前
【Python量化实战宝典 #08】可转债与债券接口手册:转股价·溢价率·纯债价值(Python 可跑)
java·python·股票数据api·股票数据api接口·股票api数据接口·股票量化数据api·股票量化数据接口
救救孩子把4 小时前
AI面试八股文-21_21-多模态Agent面试题-Vision-Language-Agent
人工智能·面试·职场和发展·llava·多模态agent
砚底藏山河4 小时前
python量化:行情数据回溯
java·开发语言·python·金融·maven
今年下半年4 小时前
AI智能体项目实战记录(02):初始化 Python 项目
开发语言·人工智能·python·fastapi
Jlzn88884 小时前
华东电芯分选通道数怎么配才不堵线
java·人工智能·架构·自动化·制造
Williamtym4 小时前
PickGo Lab实践:用浏览器、Python和MCP串起机器人搬运仿真
开发语言·python·机器人
u1301304 小时前
GitHub 热榜项目:日榜(2026-10-17)
人工智能·github