关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的,新生成的数据的都不记录梯度,但是今天产生了一点小疑惑,如果存在多层函数嵌入,是不是函数内所有的数据都不记录梯度,验证了一下,确实是的。

python 复制代码
import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
"""
输出:
False
None
True
<AddBackward0 object at 0x00000250371BED68>
"""
相关推荐
小兔崽子去哪了8 分钟前
Numpy、Panads
python·numpy·pandas
dagouaofei21 分钟前
开题报告自动做PPT
python·powerpoint
没头脑的男大23 分钟前
Unet+Transformer脑肿瘤分割检测
人工智能·深度学习·transformer
AI即插即用29 分钟前
即插即用涨点系列(十四)2025 SOTA | Efficient ViM:基于“隐状态混合SSD”与“多阶段融合”的轻量级视觉 Mamba 新标杆
人工智能·pytorch·深度学习·计算机视觉·视觉检测·transformer
Hello 0 11 小时前
视频号直播视频录制
python·音视频·流媒体·直播视频录制
FreeCode1 小时前
LangSmith本地部署LangGraph应用
python·langchain·agent
mit6.8242 小时前
py期中实验选题:实现天气预测
python·算法
哥布林学者2 小时前
吴恩达深度学习课程二: 改善深层神经网络 第三周:超参数调整,批量标准化和编程框架(四)编程框架
深度学习·ai
Rolei_zl2 小时前
AIGC(生成式AI)试用 41 -- 程序(Python + OCR)-3
python·aigc