PyTorch 中contiguous函数使用详解和代码演示

在 PyTorch 中,contiguous() 是一个用于 张量内存布局优化 的函数。它的作用是在需要时返回一个内存布局为连续(contiguous)的张量,常用于 transpose、permute 等操作后。


一、为什么需要 contiguous()

PyTorch 的张量是以 行优先(row-major)顺序 存储的。当你对张量使用 transpose()permute() 等操作时,虽然张量的维度看起来改变了 ,但底层的内存并没有重新排列,只是修改了索引方式。

一些 PyTorch 函数(如 .view())要求输入张量必须是 连续的内存块,否则就会报错。


二、函数定义与用法

python 复制代码
Tensor.contiguous(memory_format=torch.contiguous_format) → Tensor

返回值:

返回一个与当前张量具有相同数据但在内存中 连续排列 的副本。如果当前张量已经是连续的,就直接返回自身。


三、典型使用场景

1. view() 前需要 .contiguous()

python 复制代码
x = torch.randn(2, 3, 4)
y = x.permute(1, 0, 2)  # 改变维度顺序
z = y.contiguous().view(3, 8)  # 安全 reshape

如果不加 .contiguous()

python 复制代码
z = y.view(3, 8)  # ⚠️ 报错:RuntimeError: view size is not compatible with input tensor's size and stride

2. 使用 transpose() 后需要 .contiguous() 参与后续操作

python 复制代码
a = torch.randn(10, 20)
b = a.transpose(0, 1)  # Not contiguous now
b = b.contiguous()     # 重新在内存中复制数据为连续块

四、查看是否是连续的

python 复制代码
x.is_contiguous()

五、底层原理简要

PyTorch 张量有 .stride() 属性定义每一维的跳步。连续的张量满足:

python 复制代码
x.stride()[i] = product(x.shape[i+1:])

一旦 .transpose() / .permute() 修改了维度顺序,这个规则就被破坏,因此 .contiguous() 会重新分配内存来确保是连续的。


六、contiguous()项目演示

下面是一个完整的 PyTorch 小项目,演示 .contiguous() 的必要性与作用。将看到在对张量进行 permute() 后,使用 .view() reshape 会失败,只有 .contiguous() 可以解决问题。

项目内容:张量维度变换与 .contiguous() 对比演示

项目结构:

复制代码
contiguous_demo/
├── main.py
└── requirements.txt

requirements.txt

txt 复制代码
torch>=2.0

main.py

python 复制代码
import torch

def describe_tensor(tensor, name):
    print(f"{name}: shape={tensor.shape}, strides={tensor.stride()}, is_contiguous={tensor.is_contiguous()}")

def main():
    print("=== 创建张量 ===")
    x = torch.randn(2, 3, 4)  # 原始张量 shape [2, 3, 4]
    describe_tensor(x, "x")

    print("\n=== 进行 permute 操作(交换维度) ===")
    y = x.permute(1, 0, 2)  # shape: [3, 2, 4]
    describe_tensor(y, "y (after permute)")

    print("\n尝试 view reshape 到 [3, 8](不使用 contiguous)")
    try:
        z = y.view(3, 8)  # ⚠️ 报错:因为 y 的内存不是连续的
    except RuntimeError as e:
        print(f"RuntimeError: {e}")

    print("\n=== 使用 .contiguous() 后 reshape ===")
    y_contig = y.contiguous()
    describe_tensor(y_contig, "y_contig (after .contiguous())")

    z = y_contig.view(3, 8)
    describe_tensor(z, "z (reshaped)")

    print("\n✅ reshape 成功,结果如下:")
    print(z)

if __name__ == "__main__":
    main()

运行方法

  1. 安装依赖:
bash 复制代码
pip install -r requirements.txt
  1. 运行程序:
bash 复制代码
python main.py

运行结果概览

将看到:

  • 原始张量是连续的;
  • permute() 后变成非连续;
  • 使用 .view() 报错;
  • .contiguous() 修复内存后成功 reshape。

小总结要点

操作 是否连续 能否 .view()
原始张量 ✅ 是 ✅ 是
permute() ❌ 否 ❌ 报错
.contiguous() ✅ 是 ✅ 是

总结记忆:

操作 是否影响连续性? 是否需要 .contiguous()
view() ❗ 需要连续 ✅ 是
permute() / transpose() 破坏连续性 ✅ 是
reshape() 自动处理 ❌ 不需要(内部处理)
相关推荐
白-胖-子15 分钟前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手1 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
mortimer2 小时前
安装NVIDIA Parakeet时,我遇到的两个Pip“小插曲”
python·github
@昵称不存在2 小时前
Flask input 和datalist结合
后端·python·flask
静心问道2 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.03 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
赵英英俊3 小时前
Python day25
python
东林牧之3 小时前
Django+celery异步:拿来即用,可移植性高
后端·python·django
何双新3 小时前
基于Tornado的WebSocket实时聊天系统:从零到一构建与解析
python·websocket·tornado
小楓12013 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業