PyTorch线性代数操作详解:点积、矩阵乘法、范数与轴求和

本文通过代码示例详细讲解PyTorch中常用的线性代数操作,包括点积、矩阵乘法、范数计算以及按轴求和等操作,帮助读者掌握张量运算的核心方法。


1. 点积运算

点积(Dot Product)是两个向量对应元素相乘后求和的结果。
实现代码

python 复制代码
import torch

x = torch.tensor([0, 1, 2, 3], dtype=torch.float32)
y = torch.ones(4, dtype=torch.float32)
x, y, torch.dot(x, y)  # 计算点积

输出结果

bash 复制代码
(tensor([0., 1., 2., 3.]), tensor([1., 1., 1., 1.]), tensor(6.))

等价实现方式:

python 复制代码
torch.sum(x * y)  # 通过逐元素乘法和求和实现点积

输出

bash 复制代码
tensor(6.)

2. 矩阵与向量乘法

使用 torch.mv 实现矩阵与向量的乘法。
代码示例

python 复制代码
x = torch.arange(12).reshape((3, 4)).float()
y = torch.ones(4, dtype=torch.float32)
x.shape, y.shape, torch.mv(x, y)  # 矩阵形状、向量形状及乘法结果

输出

bash 复制代码
(torch.Size([3, 4]), torch.Size([4]), tensor([ 6., 22., 38.]))

3. 矩阵与矩阵乘法

使用 torch.mm 实现矩阵与矩阵的乘法。
代码示例

python 复制代码
b = torch.ones(4, 3).float()
torch.mm(x, b)  # 3x4矩阵与4x3矩阵相乘

输出

bash 复制代码
tensor([[ 6.,  6.,  6.],
        [22., 22., 22.],
        [38., 38., 38.]])

4. 范数计算

L2范数(欧几里得范数)

python 复制代码
torch.norm(y)  # 计算向量y的L2范数

输出

bash 复制代码
tensor(2.)

L1范数(绝对值之和)

python 复制代码
torch.abs(y).sum()  # 计算向量y的L1范数

输出

bash 复制代码
tensor(4.)

Frobenius范数(矩阵范数)

python 复制代码
torch.norm(x)  # 计算矩阵x的F范数

输出

bash 复制代码
tensor(22.4944)

5. 按轴求和

沿指定轴求和并保留维度

python 复制代码
sum_x = x.sum(axis=0, keepdim=True)  # 沿水平方向求和,保留维度
sum_x

输出

bash 复制代码
tensor([[12., 15., 18., 21.]])

三维张量的轴求和

python 复制代码
a = torch.ones((2, 5, 4))
a.shape  # 初始形状

输出

bash 复制代码
torch.Size([2, 5, 4])
对多个轴求和
python 复制代码
a.sum(axis=[0, 2], keepdim=True).shape  # 沿第0和第2轴求和

输出

bash 复制代码
torch.Size([1, 5, 1])
单轴求和保留维度
python 复制代码
a.sum(axis=1, keepdim=True).shape  # 沿第1轴求和并保留维度

输出

bash 复制代码
torch.Size([2, 1, 4])

总结

本文演示了PyTorch中常用的线性代数操作,包括:

  • 点积torch.dot 或逐元素乘法后求和;

  • 矩阵乘法torch.mv(矩阵与向量)、torch.mm(矩阵与矩阵);

  • 范数计算:L1、L2和Frobenius范数;

  • 轴求和 :通过 sum(axis) 控制求和方向,keepdim 保留维度。

这些操作是深度学习模型实现的基础,熟练掌握可提升张量运算的效率和代码可读性。

相关推荐
冬天给予的预感9 分钟前
DAY 54 Inception网络及其思考
网络·python·深度学习
说私域14 分钟前
互联网生态下赢家群体的崛起与“开源AI智能名片链动2+1模式S2B2C商城小程序“的赋能效应
人工智能·小程序·开源
钢铁男儿14 分钟前
PyQt5高级界而控件(容器:装载更多的控件QDockWidget)
数据库·python·qt
董厂长4 小时前
langchain :记忆组件混淆概念澄清 & 创建Conversational ReAct后显示指定 记忆组件
人工智能·深度学习·langchain·llm
亿牛云爬虫专家4 小时前
Kubernetes下的分布式采集系统设计与实战:趋势监测失效引发的架构进化
分布式·python·架构·kubernetes·爬虫代理·监测·采集
G皮T7 小时前
【人工智能】ChatGPT、DeepSeek-R1、DeepSeek-V3 辨析
人工智能·chatgpt·llm·大语言模型·deepseek·deepseek-v3·deepseek-r1
九年义务漏网鲨鱼7 小时前
【大模型学习 | MINIGPT-4原理】
人工智能·深度学习·学习·语言模型·多模态
元宇宙时间7 小时前
Playfun即将开启大型Web3线上活动,打造沉浸式GameFi体验生态
人工智能·去中心化·区块链
开发者工具分享7 小时前
文本音频违规识别工具排行榜(12选)
人工智能·音视频
产品经理独孤虾8 小时前
人工智能大模型如何助力电商产品经理打造高效的商品工业属性画像
人工智能·机器学习·ai·大模型·产品经理·商品画像·商品工业属性