关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的,新生成的数据的都不记录梯度,但是今天产生了一点小疑惑,如果存在多层函数嵌入,是不是函数内所有的数据都不记录梯度,验证了一下,确实是的。

python 复制代码
import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
"""
输出:
False
None
True
<AddBackward0 object at 0x00000250371BED68>
"""
相关推荐
Laravel技术社区1 分钟前
python3 部署内网离线项目(无网环境)
python
别叫我->学废了->lol在线等2 分钟前
model_validator的mode=“before“
python
高洁016 分钟前
卷积神经网络(CNN)详细介绍及其原理详解(3)
python·神经网络·机器学习·transformer
liwulin050623 分钟前
【ESP32-CAM】在智能小车中,电机和承重的关系
python
小毅&Nora24 分钟前
【人工智能】【深度学习】 ⑧ 一文讲清Transformer工作原理:从自注意力到大语言模型的革命
人工智能·深度学习·transformer
hjs_deeplearning25 分钟前
应用篇#4:Qwen2视觉语言模型(VLM)的服务器部署
服务器·人工智能·python·深度学习·语言模型
花开花富贵30 分钟前
Python 温度数据处理与可视化全流程:从读取到保存1.2
python
荒野火狐38 分钟前
【强化学习】关于PPO收敛问题
python·深度学习·机器学习·强化学习
江上鹤.14839 分钟前
Day 28 复习日
人工智能·python·机器学习
Hello.Reader39 分钟前
从 0 到 1 跑通第一个 Flink ML 示例
大数据·python·flink