关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的,新生成的数据的都不记录梯度,但是今天产生了一点小疑惑,如果存在多层函数嵌入,是不是函数内所有的数据都不记录梯度,验证了一下,确实是的。

python 复制代码
import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
"""
输出:
False
None
True
<AddBackward0 object at 0x00000250371BED68>
"""
相关推荐
FreeBuf_4 分钟前
“前缀替换“攻击引发恐慌:高度仿真的“Jackson“冒牌库入侵Maven中央仓库
java·python·maven
Kyln.Wu8 分钟前
【python实用小脚本-292】[HR揭秘]手工党点名10分钟的终结者|Python版Zoom自动签到+名单导出加速器(建议收藏)
开发语言·python·swift
Nobuggggg9 分钟前
LabelImg使用时报错:TypeError: setValue(self, val: int)
python·scikit-learn
BoBoZz1911 分钟前
MultipleRenderWindows 创建多个渲染窗口
python·vtk·图形渲染·图形处理
Rabbit_QL24 分钟前
【深度学习原理】数值稳定性(一):为什么深度神经网络如此脆弱
人工智能·深度学习·dnn
core51227 分钟前
深度神经网络 (DNN):当机器学会“深思熟虑”
人工智能·深度学习·神经网络·深度神经网络
智算菩萨28 分钟前
【Python深度学习】基础讲解:从感知机到Transformer:深度学习模型的进化图谱(有MNIST数据集上的实验)
人工智能·深度学习·transformer
断眉的派大星40 分钟前
深度学习归一化与激活函数终极指南:ReLU、BatchNorm与Normalize的深度解析
图像处理·人工智能·深度学习·计算机视觉
无能者狂怒41 分钟前
VIT微调时的位置编码插值
深度学习·transformer
津津有味道1 小时前
Python写入URI网址到Ntag 424 DNA标签配置开启动态UID计数器镜像
linux·python·nfc·动态uid·424·cma加密数据