Pytorch:view()、permute()和contiguous()

pytorch contiguous

1 官方中英文doc:

python 复制代码
torch.Tensor.contiguous (Python method, in torch.Tensor)
torch.Tensor.is_contiguous (Python method, in torch.Tensor)

1.1 contiguous() → Tensor

python 复制代码
Returns a contiguous tensor containing the same data as self tensor. If self tensor is contiguous, this function returns the self tensor.

1.2 contiguous() → Tensor

返回一个内存连续的有相同数据的tensor,如果原tensor内存连续,则返回原tensor;

2 pytorch contiguous的使用

contiguous一般与transpose,permute,view搭配使用:使用transpose或permute进行维度变换后,调用contiguous,然后方可使用view对维度进行变形(如:tensor_var.contiguous().view() ),

示例如下:

python 复制代码
x = torch.Tensor(2,3)
y = x.permute(1,0)         # permute:二维tensor的维度变换,此处功能相当于转置transpose
y.view(-1)                 # 报错,view使用前需调用contiguous()函数
y = x.permute(1,0).contiguous()
y.view(-1)                 # 不报错

具体原因有两种说法:

  • 1 transpose、permute等维度变换操作后,tensor在内存中不再是连续存储的,而view操作要求tensor的内存连续存储,所以需要contiguous来返回一个contiguous copy;
  • 2 维度变换后的变量是之前变量的浅拷贝,指向同一区域,即view操作会连带原来的变量一同变形,这是不合法的,所以也会报错;也即contiguous返回了tensor的深拷贝contiguous copy数据;

view()、permute()和contiguous() 具体用法和区别

1. view()

view() 变换维度,把原先tensor中的数据按行优先的顺序排成一维数据,然后按照输入的参数组合成其他维度的tensor。

python 复制代码
import torch
a=torch.Tensor([[[1,2,3],[4,5,6]]]) # torch.Size([1, 2, 3])
print(a.view(3,2))                  # torch.Size([3, 2])

输出:

python 复制代码
tensor([[1., 2.],
        [3., 4.],
        [5., 6.]])

2. permute()

permute() 利用索引将tensor中的维度进行调换
b=a.permute(2,0,1) permute里的参数对应的是张量a的维度索引 ,利用索引来对内部数据调换。
a.permute(2,0,1):把 a 的最后一个维度放到最前面。

python 复制代码
import torch
inputs = torch.Tensor([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])
print("inputs:", inputs, inputs.shape)

输出:

python 复制代码
inputs: tensor([[[ 1.,  2.,  3.],
		         [ 4.,  5.,  6.]],
		
		        [[ 7.,  8.,  9.],
		         [10., 11., 12.]]]) 
 torch.Size([2, 2, 3])
 
outputs tensor([[[ 1.,  4.],
		         [ 2.,  5.],
		         [ 3.,  6.]],
		
		        [[ 7., 10.],
		         [ 8., 11.],
		         [ 9., 12.]]]) 
 torch.Size([2, 3, 2])

3. contiguous()

在pytorch中只有很少几个操作是不改变tensor内容本身的 ,大多数操作不进行数据拷贝和数据的改变,变的是原数据。例如:narrow()、view()、expand()和transpose()等。

例如使用transpose()进行转置操作时,pytorch并不会创建新的、转置后的tensor,而是修改了tensor中的一些属性(也就是原数据),使得此时的offset和stride是与转置tensor相对应的。转置的tensor和原tensor的内存是共享的

举个栗子:

python 复制代码
import torch

x = torch.randn(3, 2)
y = torch.transpose(x, 0, 1)

print("修改前:")
print("x:", x)
print("y:", y)

y[0, 0] = 11
print("\n修改后:")
print("x:", x)
print("y:", y)

运行结果:

原数据:

python 复制代码
x: tensor([ [ 0.5287,  0.8814],
	        [ 1.2752,  1.9832],
	        [ 1.9872, -1.2719]])
y: tensor([[ 0.5287,  1.2752,  1.9872],
       	   [ 0.8814,  1.9832, -1.2719]])

重定义后:

python 复制代码
x: tensor([[11.0000,  0.8814],
           [ 1.2752,  1.9832],
           [ 1.9872, -1.2719]])
y: tensor([[11.0000,  1.2752,  1.9872],
           [ 0.8814,  1.9832, -1.2719]])

重点!重点!重点!!

可以看到,我们重新定义了 y 元素值的同时,x元素的值也发生了变化 。因此tensor中数据还是在内存中一块区域里,只是布局的问题!为什么这么说:因为,**y里面数据布局的方式和从头开始创建一个常规的tensor布局的方式是不一样的。**这个可能只是python中之前常用的浅拷贝,y还是指向x变量所处的位置,只是说记录了transpose这个变化的布局。

如果想要断开这两个变量之间的依赖 (x本身是contiguous的),就要使用contiguous()针对x进行变化,感觉上就是我们认为的深拷贝

当调用contiguous()时,会强制拷贝一份tensor,让它的布局和从头创建的一模一样,但是两个tensor完全没有联系。还是上面的栗子:

python 复制代码
import torch

x = torch.randn(3, 2)
y = torch.transpose(x, 0, 1).contiguous()
print("原数据:")
print("x:", x)
print("y:", y)

y[0, 0] = 11
print("\n重定义后:")
print("x:", x)
print("y:", y)

运行结果:

原数据:

python 复制代码
x: tensor([[ 2.5966, -0.7265],
           [ 0.0200,  0.5726],
           [-0.8865, -0.4727]])
y: tensor([[ 2.5966,  0.0200, -0.8865],
           [-0.7265,  0.5726, -0.4727]])

重定义后:

python 复制代码
x: tensor([[ 2.5966, -0.7265],
           [ 0.0200,  0.5726],
           [-0.8865, -0.4727]])
y: tensor([[11.0000,  0.0200, -0.8865],
           [-0.7265,  0.5726, -0.4727]])

可以看到对y使用了contiguous()后,改变y的值,对x没有任何影响!

参考:
https://zhuanlan.zhihu.com/p/545769141
https://zhuanlan.zhihu.com/p/64376950

相关推荐
陈鋆19 分钟前
智慧城市初探与解决方案
人工智能·智慧城市
qdprobot19 分钟前
ESP32桌面天气摆件加文心一言AI大模型对话Mixly图形化编程STEAM创客教育
网络·人工智能·百度·文心一言·arduino
QQ395753323720 分钟前
金融量化交易模型的突破与前景分析
人工智能·金融
QQ395753323721 分钟前
金融量化交易:技术突破与模型优化
人工智能·金融
The_Ticker33 分钟前
CFD平台如何接入实时行情源
java·大数据·数据库·人工智能·算法·区块链·软件工程
Elastic 中国社区官方博客39 分钟前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
jwolf240 分钟前
摸一下elasticsearch8的AI能力:语义搜索/vector向量搜索案例
人工智能·搜索引擎
有Li1 小时前
跨视角差异-依赖网络用于体积医学图像分割|文献速递-生成式模型与transformer在医学影像中的应用
人工智能·计算机视觉
傻啦嘿哟1 小时前
如何使用 Python 开发一个简单的文本数据转换为 Excel 工具
开发语言·python·excel
B站计算机毕业设计超人1 小时前
计算机毕业设计SparkStreaming+Kafka旅游推荐系统 旅游景点客流量预测 旅游可视化 旅游大数据 Hive数据仓库 机器学习 深度学习
大数据·数据仓库·hadoop·python·kafka·课程设计·数据可视化