Tensorflow中高维矩阵的乘法运算tf.matmul(tf.linalg.matmul)详悉

1.问题由来

在tensorflow框架下,经常会用到矩阵的乘法运算,特别是高(多)维的矩阵运算,在这些矩阵运算时,经常使用到其中的tf.matmul或tf.linalg.matmul等函数。但高维矩阵在内部怎么运算的?其内部的参数是怎么实现的在tensorflow给出的介绍仍然存在表达不明的问题,所以在此作进一步的阐释。

声明:本博客里的数组乘法运算是指矩阵乘法运算 ,不是对应元素相乘。所述高维代表矩阵的维度3维。

2.高维矩阵的乘法运算规则

2.1 运算条件

两矩阵的维数相同:

个维度都一致:

最后两个维度满足矩阵乘法运算:

具体地,假设,则 能运算的条件如下图(箭头表示相等):

2.2 使用tf.matmul(tf.linalg.matmul)时存在的问题

按照上文的规则使用tf.matmul(tf.linalg.matmul)时,又会存在各种问题。以tf.linalg.matmul为例,其关键参数设置如下,表征2个高维矩阵,transpose_a和transpose_b可以理解为分别对这2个矩阵的转置操作。我们假设都是4维矩阵,并设维度分别为。tensorflow中,第1维一般是batchsize。那么,tf.linalg.matmul(a,b,transpose_b=True)是不是对矩阵的真正转置呢?即tf.linalg.matmul(a,b,transpose_b=True)是维度维的矩阵与维度为的矩阵直接的矩阵运算呢?

python 复制代码
tf.linalg.matmul(
    a,
    b,
    transpose_a=False,
    transpose_b=False,
    adjoint_a=False,
    adjoint_b=False,
    a_is_sparse=False,
    b_is_sparse=False,
    output_type=None,
    grad_a=False,
    grad_b=False,
    name=None
)

如果我们直接看tensorflow给出的解释如下

直观的理解确实如前文所述,其实不然。

这里的transpose_a / transpose_b=True并不是执行传统数学意义上的转置操作,而是仅对高维矩阵上的最后两个维度的转置,其它维度仍保持不变。这是通过调用tf.linalg.matrix_transpose实现的。具体如下

python 复制代码
tf.linalg.matrix_transpose(
    a, name='matrix_transpose', conjugate=False
)

tensorflow文档中对其的描述如下,即转置矩阵的最后2个维度。

python 复制代码
Transposes last two dimensions of tensor a.

至于后续的运算可以在相关文档中查阅得到。

参考文档

tensorflow中高维数组乘法运算_高位矩阵乘法 tensorflow-CSDN博客

TensorFlow中矩阵乘操作tf.matmul(或tf.linalg.matmul)和矩阵元素乘tf.multiply(或tf.math.multiply)用法对比-CSDN博客

相关推荐
YuTaoShao5 小时前
【LeetCode 热题 100】73. 矩阵置零——(解法二)空间复杂度 O(1)
java·算法·leetcode·矩阵
Jay Kay21 小时前
TensorFlow源码深度阅读指南
人工智能·python·tensorflow
szekl1 天前
HDMI 2.0 4×2矩阵切换器412HN——多信号输入输出的高清解决方案
linux·矩阵·计算机外设·电脑·ekl
IAM四十二12 天前
Google 端侧 AI 框架 LiteRT 初探
android·深度学习·tensorflow
Brilliant Nemo12 天前
web布局02
前端·人工智能·tensorflow
引量AI12 天前
TikTok 矩阵如何快速涨粉
大数据·人工智能·矩阵·tiktok矩阵·海外社媒
聚客AI12 天前
GPU利用率90%的秘诀:PyTorch/TensorFlow高阶优化技巧
人工智能·pytorch·tensorflow
Ven%12 天前
矩阵阶数(线性代数) vs. 张量维度(深度学习):线性代数与深度学习的基石辨析,再也不会被矩阵阶数给混淆了
人工智能·pytorch·深度学习·线性代数·矩阵·tensor·张量
云云32112 天前
亚矩云手机赋能Vinted矩阵运营:破解二手电商多账号与本地化困局
网络·人工智能·智能手机·矩阵·自动化
小张在编程13 天前
Python 深度学习基础:TensorFlow 入门——从张量到神经网络的实战指南
python·深度学习·tensorflow