注意pytorch的原地操作

常见的原地操作:nn.ReLu(inplace=True)

python 复制代码
a = torch.randn(2)	# tensor([-0.3690,  0.0626])
b = a.clone() # tensor([-0.3690,  0.0626])
c = a	# tensor([-0.3690,  0.0626])
relu = nn.ReLu(inplace=True)

情况1

python 复制代码
out = relu(a) # tensor([0.0000, 0.0626])
a	# tensor([0.0000, 0.0626])
b	# tensor([-0.3690,  0.0626])
c	# tensor([0.0000, 0.0626])

如果没有clone, c则会变化

情况2

python 复制代码
out1 = a + relu(a)	# tensor([-0.3690, 0.1252])
out2 = relu(a) + a	# tensor([0, 0.1252])

两个完全不同结果

相关推荐
励志成为大佬的小杨10 分钟前
pytorch模型的进阶训练和性能优化
人工智能·pytorch·python
知舟不叙18 分钟前
OpenCV的基础操作
人工智能·opencv·计算机视觉
果冻人工智能37 分钟前
打造 AI Agent 对于中产阶级来说就是场噩梦
人工智能
MediaTea1 小时前
AI 文生图:提示词撰写技巧与示例(ChatGPT-4o 篇)
人工智能
墨绿色的摆渡人1 小时前
用 pytorch 从零开始创建大语言模型(三):编码注意力机制
人工智能·pytorch·语言模型
m0_490240671 小时前
软件自动化测试(1):python+selenium自动化测试环境搭建
开发语言·python·selenium
橘猫云计算机设计1 小时前
基于ssm的食物营养成分数据分析平台设计与实现(源码+lw+部署文档+讲解),源码可白嫖!
后端·python·信息可视化·数据挖掘·数据分析·django·毕业设计
zm-v-159304339861 小时前
ChatGPT 与 DeepSeek:学术科研的智能 “双引擎”
人工智能·chatgpt
果冻人工智能1 小时前
美国狂奔,中国稳走,AI赛道上的龟兔之争?
人工智能