注意pytorch的原地操作

常见的原地操作:nn.ReLu(inplace=True)

python 复制代码
a = torch.randn(2)	# tensor([-0.3690,  0.0626])
b = a.clone() # tensor([-0.3690,  0.0626])
c = a	# tensor([-0.3690,  0.0626])
relu = nn.ReLu(inplace=True)

情况1

python 复制代码
out = relu(a) # tensor([0.0000, 0.0626])
a	# tensor([0.0000, 0.0626])
b	# tensor([-0.3690,  0.0626])
c	# tensor([0.0000, 0.0626])

如果没有clone, c则会变化

情况2

python 复制代码
out1 = a + relu(a)	# tensor([-0.3690, 0.1252])
out2 = relu(a) + a	# tensor([0, 0.1252])

两个完全不同结果

相关推荐
SweetCode几秒前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc13 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
CryptoPP13 分钟前
springboot 对接马来西亚数据源API等多个国家的数据源
spring boot·后端·python·金融·区块链
xcLeigh21 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
大乔乔布斯21 分钟前
AttributeError: module ‘smtplib‘ has no attribute ‘SMTP_SSL‘ 解决方法
python·bash·ssl
果冻人工智能25 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_7978820933 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
明灯L34 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
果冻人工智能35 分钟前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
databook35 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn