关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的,新生成的数据的都不记录梯度,但是今天产生了一点小疑惑,如果存在多层函数嵌入,是不是函数内所有的数据都不记录梯度,验证了一下,确实是的。

python 复制代码
import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
"""
输出:
False
None
True
<AddBackward0 object at 0x00000250371BED68>
"""
相关推荐
惊讶的猫2 分钟前
LSTM论文解读
开发语言·python
测试老哥39 分钟前
软件测试之单元测试知识总结
自动化测试·软件测试·python·测试工具·职场和发展·单元测试·测试用例
buvsvdp50059ac1 小时前
如何在VSCode中设置Python解释器?
ide·vscode·python
njxiejing1 小时前
Python进度条工具tqdm的安装与使用
开发语言·python
xier_ran1 小时前
深度学习:RMSprop 优化算法详解
人工智能·深度学习·算法
Mr_Dwj2 小时前
【Python】Python 基本概念
开发语言·人工智能·python·大模型·编程语言
2401_841495643 小时前
【自然语言处理】基于规则基句子边界检测算法
人工智能·python·自然语言处理·规则·文本·语言·句子边界检测算法
哥布林学者3 小时前
吴恩达深度学习课程二: 改善深层神经网络 第三周:超参数调整,批量标准化和编程框架(一)超参数调整
深度学习·ai