PyTorch中matmul函数的矩阵相乘原则和注意事项

PyTorch中matmul函数的矩阵相乘原则和注意事项

一、高维张量乘法规则

1. 选择乘法的维度: 选择最后两个维度进行乘
2. 维度匹配规则: 最后两个维度按照普通矩阵乘法计算
3. 广播机制: torch.matmul 函数支持广播机制,即在满足乘法维度匹配规则的前提下,可以通过扩展(广播)其他维度来实现矩阵相乘。这使得可以对不同形状的张量进行相乘。

4. 结果张量的形形状:

最后2维为矩阵乘法正常计算完成应该有的维度,而高维则以参与计算的两个矩阵中,维度更大的那个矩阵的维度为准。

为什么是这样,因为其实高维矩阵的乘法就是分别从高维中选取对应位置的一对矩阵(普通矩阵)相乘把高维都遍历完了,整个高维矩阵乘法也就完成了。

那么原参与计算的矩阵形状,高维有多大,计算结果就应该有多大(因为高维只遍历)

⭐⭐⭐一言以蔽之 :除最后两维外,每一维的分量数必须对应相等 (每个分量对应相乘) 或 有一方为1(broadcast-广播机制)

二、二维矩阵相乘

线性代数基本知识,就不多讲了

python 复制代码
import torch

# 创建两个二维矩阵
A = torch.tensor([[1, 2],
                  [3, 4]])
B = torch.tensor([[5, 6],
                  [7, 8]])

# 使用 matmul 进行二维矩阵相乘
C = torch.matmul(A, B)
print("二维矩阵相乘结果:")
print(C)

输出结果:

python 复制代码
二维矩阵相乘结果:
tensor([[19, 22],
        [43, 50]])

三、三维张量相乘

对于两个三维张量 A 和 B,我们可以选择其中的最后两个维度进行相乘。

python 复制代码
import torch

# 创建两个三维张量
A = torch.randn(2, 3, 4)
B = torch.randn(2, 4, 5)

# 使用 matmul 进行三维张量相乘
C = torch.matmul(A, B)
print("三维张量相乘结果的形状:")
print(C.shape)

输出结果:

复制代码
三维张量相乘结果的形状:
torch.Size([2, 3, 5])

在这个示例中,张量 A 的形状是 [2, 3, 4],张量 B 的形状是 [2, 4, 5],我们对最后两个维度进行了矩阵相乘,得到的结果张量 C 的形状是 [2, 3, 5]

四、三维张量广播相乘示例

python 复制代码
import torch

# 创建两个可以广播的张量
a = torch.randn(2, 3, 4)
b = torch.randn(4, 5)

# 使用 torch.matmul 进行广播机制的矩阵乘法
result = torch.matmul(a, b)
print("广播机制下的矩阵乘法结果的形状:")
print(result.sha

输出

python 复制代码
广播机制下的矩阵乘法结果的形状:
torch.Size([2, 3, 5])

五、高维张量相乘

最后,我们考虑更高维度的情况,例如四维张量。对于四维张量 A 和 B,我们选择最后两个维度进行相乘。

python 复制代码
# 创建两个四维张量
A = torch.randn(2, 3, 4, 5)
B = torch.randn(2, 3, 5, 6)

# 使用 matmul 进行四维张量相乘
C = torch.matmul(A, B)
print("四维张量相乘结果的形状:")
print(C.shape)

输出结果:

复制代码
四维张量相乘结果的形状:
torch.Size([2, 3, 4, 6])

在这个示例中,张量 A 的形状是 [2, 3, 4, 5],张量 B 的形状是 [2, 3, 5, 6],我们对最后两个维度进行了矩阵相乘,得到的结果张量 C 的形状是 [2, 3, 4, 6]

相关推荐
鹏多多1 小时前
纯前端人脸识别利器:face-api.js手把手深入解析教学
前端·javascript·人工智能
aneasystone本尊1 小时前
盘点 Chat2Graph 中的专家和工具
人工智能
Baihai_IDP2 小时前
AI Agents 能自己开发工具自己使用吗?一项智能体自迭代能力研究
人工智能·面试·llm
大模型真好玩2 小时前
大模型工程面试经典(七)—如何评估大模型微调效果?
人工智能·面试·deepseek
黎燃11 小时前
短视频平台内容推荐算法优化:从协同过滤到多模态深度学习
人工智能
飞哥数智坊12 小时前
多次尝试用 CodeBuddy 做小程序,最终我放弃了
人工智能·ai编程
后端小肥肠13 小时前
别再眼馋 10w + 治愈漫画!Coze 工作流 3 分钟出成品,小白可学
人工智能·aigc·coze
唐某人丶15 小时前
教你如何用 JS 实现 Agent 系统(2)—— 开发 ReAct 版本的“深度搜索”
前端·人工智能·aigc
FIT2CLOUD飞致云16 小时前
九月月报丨MaxKB在不同规模医疗机构的应用进展汇报
人工智能·开源
阿里云大数据AI技术16 小时前
【新模型速递】PAI-Model Gallery云上一键部署Qwen3-Next系列模型
人工智能