从零实现 Transformer:第 0 部分 - 基础( Foundations)view 重塑形状 和 transpose 交换维度顺序

从零实现 Transformer:第 0 部分 - 基础( Foundations)view 重塑形状 和 transpose 交换维度顺序

flyfish

view 复用原张量同一块底层内存数据,只是换了一种维度解读方式,不会在内存中创建物理副本。

cpp 复制代码
import torch

x = torch.arange(1,13).view(6,2)
print(x)

y = torch.arange(0,12).view(2,2,3)
print(y)
cpp 复制代码
tensor([[ 1,  2],
        [ 3,  4],
        [ 5,  6],
        [ 7,  8],
        [ 9, 10],
        [11, 12]])
cpp 复制代码
tensor([[[ 0,  1,  2],
         [ 3,  4,  5]],

        [[ 6,  7,  8],
         [ 9, 10, 11]]])
cpp 复制代码
import torch

# ===================== 1. 原始张量(对应图顶部的一维数据) =====================
print("===== 原始一维张量 =====")
x = torch.arange(1, 13)  # 生成 [1,2,...,12]
print(x)
# ===================== 2. view(6,2) 连续张量(对应图左侧) =====================
print("===== view(6,2) → 连续张量 =====")
x_contiguous = x.view(6, 2)
print(x_contiguous)
print(f"是否连续: {x_contiguous.is_contiguous()}")
print("-"*50)

# ===================== 3. transpose(0,1) 非连续张量(对应图右侧) =====================
print("===== transpose(0,1) → 非连续张量 =====")
x_non_contiguous = x_contiguous.transpose(0, 1)
print(x_non_contiguous)
print(f"是否连续: {x_non_contiguous.is_contiguous()}")

输出

cpp 复制代码
tensor([[ 1,  2],
        [ 3,  4],
        [ 5,  6],
        [ 7,  8],
        [ 9, 10],
        [11, 12]])
是否连续: True
--------------------------------------------------
===== transpose(0,1) → 非连续张量 =====
tensor([[ 1,  3,  5,  7,  9, 11],
        [ 2,  4,  6,  8, 10, 12]])
是否连续: False

transpose

  1. transpose(dim0, dim1) :仅交换两个指定维度,不复制数据
  2. 二维 :transpose(0,1) = 矩阵转置,等价于 .t()
  3. 视图特性:和原张量共享内存,修改任意一个都会同步变化
  4. 连续性 :transpose 会把连续张量变成非连续张量

示例

cpp 复制代码
import torch

# ===================== 示例1:二维张量转置(最常用,矩阵转置) =====================
print("===== 1. 二维张量 transpose =====")
x = torch.arange(1, 7).view(2, 3)  # 2行3列
print("原始张量:\n", x)
# 交换维度0和维度1(行和列)
y = torch.transpose(x, 0, 1)
print("转置后(3行2列):\n", y)
# 简写:x.t() 等价于 x.transpose(0,1)
print("简写x.t():\n", x.t())
print("-"*50)

# ===================== 示例2:三维张量交换维度 =====================
print("===== 2. 三维张量 transpose =====")
x = torch.randn(2, 3, 4)  # 形状 [2,3,4]
print("原始形状:", x.shape)
# 交换维度1和维度2
y = x.transpose(1, 2)
print("交换dim1和dim2后形状:", y.shape)  # [2,4,3]
# 交换维度0和维度1
z = x.transpose(0, 1)
print("交换dim0和dim1后形状:", z.shape)  # [3,2,4]
print("-"*50)

# ===================== 示例3:验证transpose是视图(共享内存) =====================
print("===== 3. transpose 共享内存(修改一个,全变) =====")
x = torch.tensor([[1,2],[3,4]])
y = x.transpose(0, 1)
print("原x:\n", x)
print("转置y:\n", y)

# 修改转置后的张量
y[0, 1] = 999
print("\n修改y后,x自动变化:\n", x)
print("修改y后,y:\n", y)
print("-"*50)

# ===================== 示例4:transpose 生成非连续张量 =====================
print("===== 4. transpose 与连续性 =====")
x = torch.arange(1, 13).view(2, 6)
print("是否连续:", x.is_contiguous())  # True

y = x.transpose(0, 1)
print("转置后是否连续:", y.is_contiguous())  # False
print("转置步幅:", y.stride())

# 非连续张量转连续
z = y.contiguous()
print("contiguous()后是否连续:", z.is_contiguous())  # True

输出

cpp 复制代码
===== 1. 二维张量 transpose =====
原始张量:
 tensor([[1, 2, 3],
        [4, 5, 6]])
转置后(3行2列):
 tensor([[1, 4],
        [2, 5],
        [3, 6]])
简写x.t():
 tensor([[1, 4],
        [2, 5],
        [3, 6]])
--------------------------------------------------
===== 2. 三维张量 transpose =====
原始形状: torch.Size([2, 3, 4])
交换dim1和dim2后形状: torch.Size([2, 4, 3])
交换dim0和dim1后形状: torch.Size([3, 2, 4])
--------------------------------------------------
===== 3. transpose 共享内存(修改一个,全变) =====
原x:
 tensor([[1, 2],
        [3, 4]])
转置y:
 tensor([[1, 3],
        [2, 4]])

修改y后,x自动变化:
 tensor([[  1,   2],
        [999,   4]])
修改y后,y:
 tensor([[  1, 999],
        [  2,   4]])
--------------------------------------------------
===== 4. transpose 与连续性 =====
是否连续: True
转置后是否连续: False
转置步幅: (1, 6)
contiguous()后是否连续: True
相关推荐
LiaoWL1238 小时前
从零搭一个 RAG 知识库(二):换上语义 Embedding——BGE 实测与阈值重校准
python·大模型·numpy·embedding·向量检索·rag
β添砖java1 天前
Transformer大白话学习笔记
笔记·学习·transformer
LiaoWL1234 天前
NumPy 入门实战(二):向量化与余弦相似度——从 ndarray 到 Embedding
python·numpy·embedding
Eloudy4 天前
从 DeepSeek-V1 到 DeepSeek-V2:一次从“堆稠密参数”到“稀疏计算+压缩缓存”的架构转向
gpt·llm·transformer
高洁015 天前
数据同化与动态状态估计:让孪生持续贴合现实
人工智能·python·深度学习·transformer·迁移学习
聪明的笨猪猪6 天前
企业知识库AI架构选型:落地导向的架构决策与组件清单
经验分享·面试·架构·embedding·数据库架构
nice_lcj5207 天前
【从零理解 Spring AI · 14】RAG 的四个环节:加载、切分、向量化、检索
java·spring boot·embedding·向量数据库·rag·spring ai·ai应用开发
一起学安全技术8 天前
拆大模型 03|注意力的一句话版本:不用论文讲清 Attention
深度学习·算法·语言模型·transformer
风巽·剑染春水8 天前
【Generative AI综述】生成式人工智能在医学影像中的应用(ACME-2026)
人工智能·transformer·gan·vae·生成模型·扩散模型·医学影像
机器学习之心8 天前
5 个特征、2 个输出:让 DBO 替 CNN-Transformer 挑结构,再用 SHAP 把黑箱撬开
人工智能·cnn·transformer·cnn-transformer