pytorch中的维度变换操作性质大总结:view, reshape, transpose, permute

在深度学习中,张量的维度变换是很重要的操作。在pytorch中,有四个用于维度变换的函数,view, reshape, transpose, permute。其中view, reshape都用于改变张量的形状,transpose, permute都用于重新排列张量的维度,但它们的功能和使用场景有所不同,下面将进行详细介绍,并给出测试验证代码,经过全面的了解,我们才能知道如何正确的使用这四个函数。

这里写目录标题

    • [1. torch.Tensor.view](#1. torch.Tensor.view)
    • [2. torch.reshape](#2. torch.reshape)
    • [3. torch.transpose](#3. torch.transpose)
    • [4. torch.permute](#4. torch.permute)
    • [5. torch.transpose与torch.permute的性质与原理](#5. torch.transpose与torch.permute的性质与原理)

1. torch.Tensor.view

文档:Doc

  • view 方法返回一个新的张量,具有与原始张量相同的数据,但改变了形状。所以view返回的是原始数据的一个新尺寸的视图,这也就是为什么叫做view。

    python 复制代码
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],
                      [7, 8, 9, 10, 11, 12]])
    # 将其调整为3x4的形状
    y = x.view(3, 4)
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    # 判断新旧张量是否数据是相同的
    print(x.data_ptr() == y.data_ptr())

    输出:

    shell 复制代码
    x shape:  torch.Size([2, 6])
    y shape:  torch.Size([3, 4])
    True
  • view 要求原始张量是连续的(即在内存中是按顺序存储的),否则会抛出错误。

    python 复制代码
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],
                      [7, 8, 9, 10, 11, 12]])
    # 将向量转置,此时x不再是连续的
    x = x.T
    # 在不连续的张量上进行view将会报错
    y = x.view(3, 4)

    报错输出:

    python 复制代码
    RuntimeError: view size is not compatible with input tensor's size and stride (at least one dimension spans across two contiguous subspaces). Use .reshape(...) instead.
  • 如果张量不是连续的,可以使用 contiguous 方法先将其转换为连续的。

2. torch.reshape

文档:Doc

  • reshape不要求原始张量是连续的

  • 如果原始张量是连续的,那么实现的功能和view一样

  • 如果原始张量不是连续的,那么reshape就是tensor.contigous().view(),也就是会重新开辟一块内存空间,拷贝原始张量,使其连续;

  • 在连续张量上,view 和 reshape 性能相同。在非连续张量上,reshape 可能会稍慢一些,因为它可能需要创建新的连续张量。

    python 复制代码
    import torch
    # 创建一个2x6的张量
    x = torch.tensor([[1, 2, 3, 4, 5, 6],
                      [7, 8, 9, 10, 11, 12]])
    # 将向量转置,此时x不再是连续的
    x = x.T
    # 在不连续的张量上可以进行reshape
    y = x.reshape(3, 4)
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    # 但reshape返回的是新的内存中的张量
    print(x.data_ptr() == y.data_ptr())

    输出:

    shell 复制代码
    x shape:  torch.Size([6, 2])
    y shape:  torch.Size([3, 4])
    False

3. torch.transpose

Doc

  • 功能:仅用于交换两个维度。它接受两个维度参数,分别表示要交换的维度。

  • 不改变数据:不会改变数据本身,只是改变数据的视图(即不复制数据)。

  • 生成的新张量也通常不是连续的。它只是交换两个维度的顺序,不改变数据在内存中的实际存储顺序。

  • 对原始张量是不是连续的没有要求

    python 复制代码
    import torch
    # 创建一个3x4的张量
    x = torch.tensor([[1, 2, 3, 4],
                        [5, 6, 7, 8],
                        [9, 10, 11, 12]])
    print(x.is_contiguous())
    # 交换第一个和第二个维度
    y = torch.transpose(x, 0, 1)
    print(y.is_contiguous())
    print("x shape: ", x.shape)
    print("y shape: ", y.shape)
    print(x.data_ptr() == y.data_ptr())

    输出:

    shell 复制代码
    True
    False
    x shape:  torch.Size([3, 4])
    y shape:  torch.Size([4, 3])
    True

4. torch.permute

Doc

  • 可以重新排列任意数量的维度,适用于复杂的维度变换。接受一个shape元组作为参数

  • 不改变数据:不会改变数据本身,只是改变数据的视图(即不复制数据)

  • 生成的新张量通常不是连续的。因为它仅改变维度顺序,不改变数据在内存中的实际顺序。

  • 对原始张量是不是连续的没有要求

    python 复制代码
    	import torch
    	# 创建一个3x4x5的张量
    	x = torch.randn(3, 4, 5)
    	
    	# 将其第一个和第二个维度交换
    	y = torch.permute(x, (1, 0, 2))
    	print(y.is_contiguous())
    	print(x.data_ptr() == y.data_ptr())
    	print(y.size())  # 输出:torch.Size([4, 3, 5])

    输出:

    shell 复制代码
    False
    True
    torch.Size([4, 3, 5])

5. torch.transpose与torch.permute的性质与原理

这两者的功能和各方面的性质基本是相同的,只是一个只能交换两个维度,一个能进行更复杂的维度排列。他们的原理是:transpose 和 permute 通过改变张量的 strides(步幅)来重新排列维度。strides 定义了在内存中沿着每个维度移动的步长。它们不改变张量的数据,只是改变了访问数据的方式。因此,这些操作可以应用于任何张量,无论它们是否连续。

相关推荐
子燕若水4 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室5 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿5 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫5 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手5 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记6 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元6 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术6 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端
烛阴7 小时前
简单入门Python装饰器
前端·python