关于with torch.no_grad:的一些小问题

with torch.no_grad:是截断梯度记录的,新生成的数据的都不记录梯度,但是今天产生了一点小疑惑,如果存在多层函数嵌入,是不是函数内所有的数据都不记录梯度,验证了一下,确实是的。

python 复制代码
import torch
x = torch.randn(10, 5, requires_grad = True)
y = torch.randn(10, 5, requires_grad = True)
z = torch.randn(10, 5, requires_grad = True)
def add(x,y,z):
    w = x + y + z
    print(w.requires_grad)
    print(w.grad_fn)
def add2(x,y,z):
    add(x,y,z)
with torch.no_grad():
    add2(x,y,z)
    
add2(x,y,z)
"""
输出:
False
None
True
<AddBackward0 object at 0x00000250371BED68>
"""
相关推荐
程序员杰哥2 小时前
Python自动化测试之线上流量回放:录制、打标、压测与平台选择
自动化测试·软件测试·python·测试工具·职场和发展·测试用例·压力测试
吴佳浩2 小时前
LangChain v1 重大更新讲解⚠⚠⚠
python·langchain·agent
1***Q7844 小时前
深度学习技术
人工智能·深度学习
顾安r5 小时前
11.20 开源APP
服务器·前端·javascript·python·css3
WWZZ20255 小时前
快速上手大模型:深度学习10(卷积神经网络2、模型训练实践、批量归一化)
人工智能·深度学习·神经网络·算法·机器人·大模型·具身智能
萧鼎5 小时前
Python PyTesseract OCR :从基础到项目实战
开发语言·python·ocr
希露菲叶特格雷拉特6 小时前
PyTorch深度学习进阶(四)(数据增广)
人工智能·pytorch·深度学习
喵个咪6 小时前
基于 Go-Kratos 与 MCP 的推荐服务实战指南
后端·深度学习·微服务
没有bug.的程序员6 小时前
Java 字节码:看懂 JVM 的“机器语言“
java·jvm·python·spring·微服务
汤姆yu7 小时前
基于深度学习的健康饮食推荐系统
人工智能·深度学习