使用torch普通算子组合替代torch.einsum爱因斯坦求和

1. torch.einsum('bnd, bmd->bnm', x, y)

torch.einsum('bnd, bmd->bnm', x, y) 表示的是对张量 x 和 y 进行特定的求和和维度变换。

具体来说,这个操作的输入是两个形状为 [b, n, d] 和 [b, m, d] 的张量 x 和 y,输出是一个形状为 [b, n, m] 的张量 z。其计算过程可以理解为:对于每个 b,z[b, n, m] 等于 x[b, n, :] 和 y[b, m, :] 之间的点积。

为了用普通的 torch 操作符来替代 einsum,我们可以通过 torch.matmul 函数实现。这个函数可以用来执行批量矩阵乘法,并且能够很好地替代这个 einsum 操作。

具体实现如下:

python 复制代码
import torch

# 假设 x 和 y 的形状分别为 (b, n, d) 和 (b, m, d)
x = torch.randn(10, 20, 30)  # 举例
y = torch.randn(10, 15, 30)  # 举例

# einsum: z = torch.einsum('bnd, bmd->bnm', x, y)
# 可以转换为以下操作:
z = torch.matmul(x, y.transpose(-1, -2))  # z 的形状为 (b, n, m)

# 检查 z 的形状是否正确
print(z.shape)

2. torch.einsum('ij,jk->ik', A, B)

可以用普通的矩阵乘法 torch.matmul 替代

具体实现如下:

python 复制代码
import torch

A = torch.rand(3, 4)
B = torch.rand(4, 5)

# 使用 einsum
result_einsum = torch.einsum('ij,jk->ik', A, B)

# 使用 matmul
result_matmul = torch.matmul(A, B)

# 验证结果相同
print(torch.allclose(result_einsum, result_matmul))

3. torch.einsum('bij,bjk->bik', A, B)

可以用 torch.bmm 来替代

具体实现如下:

python 复制代码
import torch

A = torch.rand(10, 3, 4)
B = torch.rand(10, 4, 5)

# 使用 einsum
result_einsum = torch.einsum('bij,bjk->bik', A, B)

# 使用 bmm
result_bmm = torch.bmm(A, B)

# 验证结果相同
print(torch.allclose(result_einsum, result_bmm))

4. torch.einsum('i,i->', A, B)

向量内积,可以用 torch.dot 来替代

具体实现如下:

python 复制代码
import torch

A = torch.rand(4)
B = torch.rand(4)

# 使用 einsum
result_einsum = torch.einsum('i,i->', A, B)

# 使用 dot
result_dot = torch.dot(A, B)

# 验证结果相同
print(torch.allclose(result_einsum, result_dot))

5. torch.einsum('i,j->ij', A, B)

向量外积,可以用 torch.outer 来替代

具体实现如下:

python 复制代码
import torch

A = torch.rand(4)
B = torch.rand(5)

# 使用 einsum
result_einsum = torch.einsum('i,j->ij', A, B)

# 使用 outer
result_outer = torch.outer(A, B)

# 验证结果相同
print(torch.allclose(result_einsum, result_outer))

不同的 einsum 表达式会对应不同的替代操作,有时可能需要组合多个普通操作来达到相同的效果。如果某些 einsum 表达式太复杂,使用普通算子替代时会比较繁琐,此时建议继续使用 einsum,因为它不仅更简洁,而且通常性能优化得很好。
后续遇到其余需替换的 op 再进行更新

相关推荐
好看资源平台5 分钟前
网络爬虫——综合实战项目:多平台房源信息采集与分析系统
爬虫·python
余生H6 分钟前
transformer.js(三):底层架构及性能优化指南
javascript·深度学习·架构·transformer
进击的六角龙26 分钟前
深入浅出:使用Python调用API实现智能天气预报
开发语言·python
檀越剑指大厂26 分钟前
【Python系列】浅析 Python 中的字典更新与应用场景
开发语言·python
罗小罗同学34 分钟前
医工交叉入门书籍分享:Transformer模型在机器学习领域的应用|个人观点·24-11-22
深度学习·机器学习·transformer
湫ccc34 分钟前
Python简介以及解释器安装(保姆级教学)
开发语言·python
孤独且没人爱的纸鹤37 分钟前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
阿_旭40 分钟前
TensorFlow构建CNN卷积神经网络模型的基本步骤:数据处理、模型构建、模型训练
人工智能·深度学习·cnn·tensorflow
羊小猪~~41 分钟前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
lzhlizihang43 分钟前
python如何使用spark操作hive
hive·python·spark