【笔记】记录对python中.grad()的一些理解

这几天再看神经网络,有点不明白.grad()、.detach()、.backward()等等等等这些关于梯度计算的东西,今天好像理解了一点,来做一个自己理解的总结。

首先来看一段非常简单的代码:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2
z = y.sum()

z.backward()

print(X.grad)

这里我们定义了一个张量X,定义时将它的requires_grad设为了True,表示后面我们将会计算X的梯度。

然后我们对X进行了一系列运算,首先将它的所有元素乘以2,然后将所有元素相加。

最后实行反向传播计算并将梯度存储在内部,输入梯度。

要注意的是是对z进行反向传播,但梯度是记录在X中的。

最近看到了这样的一段代码:

python 复制代码
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) #定义一个随机梯度下降类
for epoch in range(num_epochs):
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, targets)

    # 反向传播和优化
    optimizer.zero_grad()  # 清空之前的梯度
    loss.backward()        # 计算梯度
    optimizer.step()       # 更新权重

就很疑惑:为什么optimizer只要执行一个step就能准确根据梯度更新参数,而loss.backward()好像干了什么但又好像什么都没干,optimizer并没有传入loss作为参数,它是怎么知道要如何更新参数的呢?

现在才知道了,loss.backward()这步就是将梯度存储在先前的参数w、b中,执行完这一步后参数就会带上它的梯度,因此optimizer.step()就能通过w.grad、b.grad调用它的梯度。

另外requires_grad=True这个设置也可有在后面进行取消:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2

y.detach_()

z = y.sum()
z.backward()

print(X.grad)

这样在中间插入了y.detach_(),就相当于把y的requires_grad改回了False,并且y和X的关系被切断,所以无法输出X的grad。

但是:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2

z = y.sum()

y.detach_()

z.backward()

print(X.grad)

这样的话z在y更改设置之前就保留了y和X的关系,所以还是能够输出X的梯度。

相关推荐
JavaEdge在掘金1 小时前
ssl.SSLCertVerificationError报错解决方案
python
我不会编程5551 小时前
Python Cookbook-5.1 对字典排序
开发语言·数据结构·python
李少兄1 小时前
Unirest:优雅的Java HTTP客户端库
java·开发语言·http
老歌老听老掉牙2 小时前
平面旋转与交线投影夹角计算
python·线性代数·平面·sympy
满怀10152 小时前
Python入门(7):模块
python
无名之逆2 小时前
Rust 开发提效神器:lombok-macros 宏库
服务器·开发语言·前端·数据库·后端·python·rust
你觉得2052 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
似水এ᭄往昔2 小时前
【C语言】文件操作
c语言·开发语言
啊喜拔牙2 小时前
1. hadoop 集群的常用命令
java·大数据·开发语言·python·scala
xixixin_2 小时前
为什么 js 对象中引用本地图片需要写 require 或 import
开发语言·前端·javascript