【笔记】记录对python中.grad()的一些理解

这几天再看神经网络,有点不明白.grad()、.detach()、.backward()等等等等这些关于梯度计算的东西,今天好像理解了一点,来做一个自己理解的总结。

首先来看一段非常简单的代码:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2
z = y.sum()

z.backward()

print(X.grad)

这里我们定义了一个张量X,定义时将它的requires_grad设为了True,表示后面我们将会计算X的梯度。

然后我们对X进行了一系列运算,首先将它的所有元素乘以2,然后将所有元素相加。

最后实行反向传播计算并将梯度存储在内部,输入梯度。

要注意的是是对z进行反向传播,但梯度是记录在X中的。

最近看到了这样的一段代码:

python 复制代码
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.9) #定义一个随机梯度下降类
for epoch in range(num_epochs):
    # 前向传播
    outputs = model(inputs)
    loss = criterion(outputs, targets)

    # 反向传播和优化
    optimizer.zero_grad()  # 清空之前的梯度
    loss.backward()        # 计算梯度
    optimizer.step()       # 更新权重

就很疑惑:为什么optimizer只要执行一个step就能准确根据梯度更新参数,而loss.backward()好像干了什么但又好像什么都没干,optimizer并没有传入loss作为参数,它是怎么知道要如何更新参数的呢?

现在才知道了,loss.backward()这步就是将梯度存储在先前的参数w、b中,执行完这一步后参数就会带上它的梯度,因此optimizer.step()就能通过w.grad、b.grad调用它的梯度。

另外requires_grad=True这个设置也可有在后面进行取消:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2

y.detach_()

z = y.sum()
z.backward()

print(X.grad)

这样在中间插入了y.detach_(),就相当于把y的requires_grad改回了False,并且y和X的关系被切断,所以无法输出X的grad。

但是:

python 复制代码
import torch

X = torch.tensor([1.0, 2.0, 3.0], requires_grad=True)
y = X * 2

z = y.sum()

y.detach_()

z.backward()

print(X.grad)

这样的话z在y更改设置之前就保留了y和X的关系,所以还是能够输出X的梯度。

相关推荐
酷爱码21 分钟前
如何通过python连接hive,并对里面的表进行增删改查操作
开发语言·hive·python
画个大饼23 分钟前
Go语言实战:快速搭建完整的用户认证系统
开发语言·后端·golang
蹦蹦跳跳真可爱58926 分钟前
Python----深度学习(基于深度学习Pytroch簇分类,圆环分类,月牙分类)
人工智能·pytorch·python·深度学习·分类
喵先生!1 小时前
C++中的vector和list的区别与适用场景
开发语言·c++
Thomas_YXQ2 小时前
Unity3D Lua集成技术指南
java·开发语言·驱动开发·junit·全文检索·lua·unity3d
xMathematics2 小时前
计算机图形学实践:结合Qt和OpenGL实现绘制彩色三角形
开发语言·c++·qt·计算机图形学·cmake·opengl
MinggeQingchun3 小时前
Python - 爬虫-网页解析数据-库lxml(支持XPath)
爬虫·python·xpath·lxml
yuanManGan4 小时前
C++入门小馆: 深入了解STLlist
开发语言·c++
北极的企鹅884 小时前
XML内容解析成实体类
xml·java·开发语言
BillKu5 小时前
Vue3后代组件多祖先通讯设计方案
开发语言·javascript·ecmascript