pytorch中的各种计算

  对tensor矩阵的维度变换,加减乘除等是深度学习中的常用操作,本文对一些常用方法进行总结

矩阵乘法

  混合矩阵相乘,官网

c 复制代码
torch.matmul(input, other, *, out=None) → Tensor

  这个方法执行矩阵相乘操作,需要第一个矩阵的最后一个维度和第二个矩阵的第一个维度相同,即:假设我们有两个矩阵 A 和 B,它们的 size 分别为 (m, n) 和 (n, p),那么 A x B 的 size 为 (m, p)。

  矩阵点乘,官网

c 复制代码
torch.mul(input, other, *, out=None) → Tensor

  这个方法对矩阵做点积运算(也可简写为*),这个方法要求第一个矩阵的第一个维度和第二个矩阵的第一个维度对应。torch.dot()类似于mul(),它是向量(即只能是一维的张量)的对应位相乘再求和,返回一个tensor。

矩阵维度变换

  tensor.view方法,用于调整矩阵的维度,这个方法要求矩阵在调整为度前后的元素个数必须是相同的,官网,例子:

c 复制代码
>>> t = torch.rand(4, 4)
>>> b = t.view(2, 8)
>>> t.storage().data_ptr() == b.storage().data_ptr()  # `t` and `b` share the same underlying data.
True
# Modifying view tensor changes base tensor as well.
>>> b[0][0] = 3.14
>>> t[0][0]
tensor(3.14)

  torch中对矩阵的压缩和解压操作:torch.squeeze和torch.unsqueeze,这两种方法的作用是压缩矩阵中的某一个维度或者增加一个维度,官网,两种方法的详解可以参考我之前的笔记pytorch中的torch.squeeze和torch.unsqueeze。

  矩阵填充,官网torch.nn.functional.pad

c 复制代码
torch.nn.functional.pad(input, pad, mode='constant', value=None) → Tensor
Args:
	"""
	input:四维或者五维的tensor Variabe
	pad:不同Tensor的填充方式
		1.四维Tensor:传入四元素tuple(pad_l, pad_r, pad_t, pad_b),
		指的是(左填充,右填充,上填充,下填充),其数值代表填充次数
		2.六维Tensor:传入六元素tuple(pleft, pright, ptop, pbottom, pfront, pback),
		指的是(左填充,右填充,上填充,下填充,前填充,后填充),其数值代表填充次数
	mode: 'constant', 'reflect' or 'replicate'三种模式,指的是常量,反射,复制三种模式
	value:填充的数值,在"contant"模式下默认填充0,mode="reflect" or "replicate"时没有			

  如果给入的填充次数是负数,该函数可以实现从该方向对矩阵的裁剪操作。

  需要注意的是,本文中提到的所有方法都支持broadcast操作,也就是,除了参与操作的最后两个维度(矩阵),前面的所有维度都会被认为是batch,以torch,matmul为例,该方法使用两个tensor的后两个维度来计算,其他的维度都可以认为是batch。假设两个输入的维度分别是 i n p u t ( 1000 × 500 × 99 × 11 ) input(1000×500×99×11) input(1000×500×99×11), o t h e r ( 500 × 11 × 99 ) other(500×11×99) other(500×11×99),那么我们可以认为 t o r c h . m a t m u l ( i n p u t , o t h e r ) torch.matmul(input,other) torch.matmul(input,other) 首先是进行后两位矩阵乘法得到 ( 99 × 99 ) (99×99) (99×99) ,然后分析两个参数的batch size分别是 ( 1000 × 500 ) (1000×500) (1000×500)和 ( 500 ) (500) (500), 可以广播成为 ( 1000 × 500 ) (1000×500) (1000×500),因此最终输出的维度是 ( 1000 × 500 × 99 × 99 ) (1000×500×99×99) (1000×500×99×99)。

相关推荐
jimmyleeee6 小时前
大模型安全之四十五:从数据到输出----GenAI 版权、知识产权与伦理合规实战指南
人工智能·深度学习·安全
loulanyue_6 小时前
构建实时沉浸式世界模型体验:AI+IP与商业模式重构——读Reactor首席技术官Bryce 2026云栖专场演讲
人工智能·重构
面包狗AI4S6 小时前
【AI4S】生化环材高可信技术与产业周报(2026-10-03—2026-10-09)
人工智能·深度学习·机器学习·ai
前端大斗师6 小时前
「大于 1000」把 1000 元那单也算进去了:我在 Vue3 订单页对了 10 句话
前端·人工智能·typescript·大模型·原力计划
刘科领6 小时前
使用ollama & openweb-ui 本地搭建自己的AI
人工智能·python·ui·ai
专业程序开发源6 小时前
flask家电故障预测系统92491-计算机课程设计/毕业设计
vscode·python·sql·算法·flask·课程设计
夜雪一千6 小时前
Python 生成模拟地址数据:Faker之外的备选库
网络·windows·python
不开大的凯20776 小时前
AI权力游戏:同一天,两种答案,一场算力暗战
大数据·人工智能·ai·ai office
零基础1236 小时前
自动驾驶中的边界情况处理:基于世界模型与混合专家及大语言模型的方法
人工智能·语言模型·自动驾驶
半亩码田6 小时前
C#转Python第4.8篇:正则表达式:Python re 模块 vs C# System.Text.RegularExpressions
python·正则表达式·c#