深度学习19:PyTorch:自动微分模块

目录标题

一、概念

训练神经网络时,框架会根据设计好的模型构建一个计算图(computational graph),来跟踪计算是哪些数据通过哪些操作组合起来产生输出,并通过反向传播算法来根据给定参数的损失函数的梯度调整参数(模型权重)。

PyTorch 具有一个内置的微分引擎 torch.autograd 以支持计算图的梯度自动计算。

考虑最简单的单层神经网络,具有输入 x、参数 w、偏置 b 以及损失函数:

二、代码

python 复制代码
import torch
x = torch.tensor(10.0)
y = torch.tensor([[3.0]])
print(x)
print(y)
#初始化参数
w = torch.rand(1,1,requires_grad=True)
b = torch.rand(1,1,requires_grad=True)
#前向传播,得到输出
z = x * w + b
print(z)
#查看是否是叶子节点
print(x.is_leaf)
print(w.is_leaf)
print(b.is_leaf)
print(y.is_leaf)
print(z.is_leaf)
#设置损失函数
loss = torch.nn.MSELoss()
loss_value = loss(z,y)
print(loss_value)
print(loss_value.is_leaf)
#反向传播
loss_value.backward(retain_graph=True)
print(w.grad)
print(b.grad)

三、代码底层涉及内容

自动微分的关键就是记录节点的数据与运算。数据记录在张量的 data 属性中,计算记录在张量的 grad_fn 属性中。

计算图根据搭建方式可分为静态图和动态图,PyTorch 是动态图机制,在计算的过程中逐步搭建计算图,同时对每个 Tensor 都存储 grad_fn 供自动微分使用。

若设置张量参数 requires_grad=True,则 PyTorch 会追踪所有基于该张量的操作,并在反向传播时计算其梯度。依赖于叶子节点的节点,requires_grad 默认为 True。当计算到根节点后,在根节点调用 backward() 方法即可反向传播计算计算图中所有节点的梯度。

非叶子节点的梯度在反向传播之后会被释放掉(除非设置参数 retain_graph=True)。而叶子节点的梯度在反向传播之后会保留(累积)。通常需要使用 optimizer.zero_grad() 清零参数的梯度

四、想把其中计算图里面的张量临时拿出来处理

前向传播没问题,但是反向传播,如果某个节点有分支,分出来两条路,按照全微分公式把两个导数相加

有时我们希望将某些计算移动到计算图之外,可以使用 Tensor.detach()返回一个新的变量,该变量与原变量具有相同的值,但丢失计算图中如何计算原变量的信息。换句话说,梯度不会在该变量处继续向下传播。

代码介绍detach

python 复制代码
import torch
x = torch.tensor(2.0,requires_grad=True)
y = x.detach()
print(x)
print(y)
print(id(x))
print(id(y))
print('-------------')
#use tensor.untyped_storage() instead of tensor.storage()
# print(x.storage().data_ptr())
# print(y.storage().data_ptr())
#数据共享
print(x.untyped_storage().data_ptr())
print(y.untyped_storage().data_ptr())

tensor(2., requires_grad=True)
tensor(2.)
2654791112800
2654791113680
-------------
3408417266880
3408417266880




#分别对x,y进行后续计算
z1 = x ** 2
z2 = y ** 2
print(z1)
print(z2)

tensor(4., grad_fn=<PowBackward0>)
tensor(4.)


#用sum当损失函数,可以反向传播
z1.sum().backward()
#z2 报错 element 0 of tensors does not require grad and does not have a grad_fn
z2.sum().backward()

五、detach实际应用

python 复制代码
x = torch.ones(2,2,requires_grad=True)
y = x * x
print(x)
print(y)

#分离y
u = y.detach()

tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
tensor([[1., 1.],
        [1., 1.]], grad_fn=<MulBackward0>)


#让u参与新张量的计算
z = u * x
#反向传播,计算所有梯度
z.sum().backward()
print(x.grad)
print('------------')
print(x.grad == u)


tensor([[1., 1.],
        [1., 1.]])
------------
tensor([[True, True],
        [True, True]])

这里u不是3x*2

六、detach vs data 修改数据,影响各自原数据的反向传播(但是detach修改微分引擎能发现,data却发现不了)

修改data数据最好只读取不修改,自动微分引擎发现不了,不会报错

修改detach数据最好只读取不修改,自动微分引擎会发现,会报错

相关推荐
Bowen_J13 分钟前
Apple Foundation Models:Apple AI核心框架
人工智能·ai编程·apple
IT_陈寒24 分钟前
Redis那个过期删除策略,差点让我线上崩了
前端·人工智能·后端
阿里云大数据AI技术43 分钟前
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析
大数据·人工智能
字节跳动开源1 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon1 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技1 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信2 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing3 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七3 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下3 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端