使用Pytorch自动计算梯度

使用Pytorch自动计算梯度

torch 包内为我们提供了很多有用的函数,让我们无需手动计算梯度:

python 复制代码
import torch

x=torch.tensor([1.,2.,3.,4.])

x.requires_grad_(True)
y=2*torch.dot(x,x)
# tensor(60., grad_fn=<MulBackward0>)

print(x.grad)
# None

y.backward()

print(x.grad)
# tensor([ 4.,  8., 12., 16.])

x.requires_grad_(True) 是为了告诉 torch ,我需要对 x 计算梯度。因为(对于一个有上万/亿参数的函数)计算梯度是非常消耗算力的,所以 torch 默认不会计算梯度,需要我们通过 requires_grad_(True) 显示声明。

但在实践过程中,我们不可能只取一个 x 的值(一个向量)来决定接下来应该如何调整运动轨迹。

如果我们选三个 x 的值,就得到三个梯度:

python 复制代码
import torch

x1 = torch.tensor([1., 2., 3., 4.])
x2 = torch.tensor([1., 3., 3., 1.])
x3 = torch.tensor([5., 2., 1., 4.])

x1.requires_grad_(True)
y1 = 2 * torch.dot(x1, x1)
y1.backward()
print(x1.grad)
# tensor([ 4.,  8., 12., 16.])

x2.requires_grad_(True)
y2 = 2 * torch.dot(x2, x2)
y2.backward()
print(x2.grad)
# tensor([ 4., 12., 12.,  4.])

x3.requires_grad_(True)
y3 = 2 * torch.dot(x3, x3)
y3.backward()
print(x3.grad)
# tensor([20.,  8.,  4., 16.])

但是,我们只需要一个梯度,来决定接下来的运动轨迹。可以选择将梯度相加,或者取平均值之类的方法,来得到一个统一的梯度。

放到数学上来说(数学意义),就是对于一个结果是向量的函数求导:

python 复制代码
import torch

x = torch.tensor([1., 2., 3., 4.])

x.requires_grad_(True)
y = 2 * x * x

print(y)
# tensor([ 2.,  8., 18., 32.], grad_fn=<MulBackward0>)

y.sum().backward()

print(x.grad)
kward0>)

y.sum().backward()

print(x.grad)
# tensor([ 4.,  8., 12., 16.])

我们通过 y.sum() 将函数的结果从向量压缩成标量,然后再求导,就获得了我们想要的梯度。

相关推荐
kaixin_啊啊6 小时前
【零基础学AI】第 25 章课后练习与答案
人工智能
水如烟7 小时前
孤能子视角:逆溯法与传统方法比较
人工智能
jimmyleeee7 小时前
大模型安全之五十一:OWASP LLM Top 10 全景解读
人工智能·安全
飞哥数智坊8 小时前
DeepSeek-V4.1-Flash-1017 官方许愿案例太吸睛,我也复刻了一个
人工智能
深蓝AI8 小时前
自报提效 12 倍,模型进步加速 1.9 倍:METR 报告到底量了什么
人工智能·程序员
特立独行的猫A9 小时前
我给女儿写了个打字练习:一边敲键盘,一边把小学英语单词记牢
java·后端·python
cpolar技术支持9 小时前
「我这边连不上你那个服务」—— 用清单驱动的 TCP 连通性只读看板,cpolar 让远端同事自己取证
python·内网穿透·tcp·cpolar·网络诊断
怕浪猫9 小时前
从工具到代理:一张图看懂 2026–2030 年 AI 如何重构 11 个行业
人工智能·程序员·产品
云和数据.ChenGuang9 小时前
LangGraph 异步 Node 的设计与写法实践
开发语言·人工智能·python·机器学习·php
会飞锦鲤10 小时前
工业AI视觉检测项目完整实施方案
人工智能·深度学习·视觉检测·缺陷检测·模型训练·ai项目·工业应用