注意pytorch的原地操作

常见的原地操作:nn.ReLu(inplace=True)

python 复制代码
a = torch.randn(2)	# tensor([-0.3690,  0.0626])
b = a.clone() # tensor([-0.3690,  0.0626])
c = a	# tensor([-0.3690,  0.0626])
relu = nn.ReLu(inplace=True)

情况1

python 复制代码
out = relu(a) # tensor([0.0000, 0.0626])
a	# tensor([0.0000, 0.0626])
b	# tensor([-0.3690,  0.0626])
c	# tensor([0.0000, 0.0626])

如果没有clone, c则会变化

情况2

python 复制代码
out1 = a + relu(a)	# tensor([-0.3690, 0.1252])
out2 = relu(a) + a	# tensor([0, 0.1252])

两个完全不同结果

相关推荐
笛柳戏初雪19 分钟前
Python中容器类型的数据(上)
开发语言·python
清弦墨客20 分钟前
【蓝桥杯】43695.填字母游戏
python·蓝桥杯·编程算法
Yuleave22 分钟前
高效流式大语言模型(StreamingLLM)——基于“注意力汇聚点”的突破性研究
人工智能·语言模型·自然语言处理
cqbzcsq24 分钟前
ESMC-600M蛋白质语言模型本地部署攻略
人工智能·语言模型·自然语言处理
查理零世1 小时前
保姆级讲解 python之zip()方法实现矩阵行列转置
python·算法·矩阵
刀客1231 小时前
python3+TensorFlow 2.x(四)反向传播
人工智能·python·tensorflow
SpikeKing1 小时前
LLM - 大模型 ScallingLaws 的设计 100B 预训练方案(PLM) 教程(5)
人工智能·llm·预训练·scalinglaws·100b·deepnorm·egs
小枫@码2 小时前
免费GPU算力,不花钱部署DeepSeek-R1
人工智能·语言模型
liruiqiang052 小时前
机器学习 - 初学者需要弄懂的一些线性代数的概念
人工智能·线性代数·机器学习·线性回归
Icomi_2 小时前
【外文原版书阅读】《机器学习前置知识》1.线性代数的重要性,初识向量以及向量加法
c语言·c++·人工智能·深度学习·神经网络·机器学习·计算机视觉