3、线性代数 - 技术栈

1、矩阵转置 A $i,j$ =A $j,i$

2、对称矩阵：A转置=A

0,2,3

2 1 5

3,5,1

3、三维矩阵求和 axis=0 两个矩阵相加 axis=1 两个向量相加，axis=2 向量内部相加

keepdims=True 求和后维度保持不变

4、cumsum累加求和

5、torch.mm() 或 torch.bmm()【矩阵乘法，前二维后三维，均不可广播】

torch.mm() 用于两个二维向量之间的矩阵乘法。如果 input1 是一个n×m张量，input2 是一个 m×p张量，将会输出一个 n×p 张量

>>> a = torch.ones(3,4)

>>> b = torch.ones(4,2)

>>> torch.mm(a, b) # torch.Size( $3, 2$ )

tensor( $\[4., 4.$ ,

$4., 4.$ ,

$4., 4.$ ])

而 torch.bmm() 是用于两个三维张量之间的批次矩阵乘法（其中第0维为批次大小）。由于神经网络训练一般采用mini-batch，经常输入的是三维带batch矩阵。如果 input1 是一个 b×n×m 张量，input2 是一个 b×m×p 张量，将会输出一个 b×n×p 张量

>>> a = torch.ones(3,4,5)

>>> b = torch.ones(3,5,6)

>>> torch.bmm(a, b) # torch.Size( $3, 4, 6$ )

tensor( $\[\[5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ],

$\[5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ],

$\[5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ,

$5., 5., 5., 5., 5., 5.$ ]])

另外，这两个函数都无法广播
6、torch.mv()【矩阵-向量乘法，不可广播】

torch.mv(input, vec) 只支持矩阵和向量之间的乘法。如果 input 为 n×m，vec向量的长度为m，那么输出为 n×1的向量。不支持广播机制

In $1$ : vec = torch.arange(4)

In $2$ : mat = torch.arange(12).reshape(3,4)

In $3$ : torch.mv(mat, vec)

Out $1$ : tensor( $14, 38, 62$ )

torch.dot()【仅支持两个一维向量点积】

只能支持两个一维向量，两向量相乘相加得到一个标量

与 np.dot() 不同，np.dot() 既能向量点积，又能矩阵乘法

a = torch.tensor( $2,3$ )

b = torch.tensor( $1,2$ )

c = torch.dot(a,b)

print('a:',a.shape) # a: torch.Size( $2$ )

print('b:',b.shape) # b: torch.Size( $2$ )

print('torch.dot:',c,c.shape) # torch.dot: tensor(8) torch.Size(\[\])

7、@【等价于 torch.dot() + torch.mv() + torch.mm()】

mat1 @ mat2

若mat1和mat2都是一维向量，那么对应操作就是torch.dot()

若mat1是二维向量，mat2是一维向量，那么对应操作就是torch.mv()

若mat1和mat2都是二维向量，那么对应操作就是torch.mm()

vec1 = torch.arange(4)

vec2 = torch.tensor( $4,3,2,1$ )

mat1 = torch.arange(12).reshape(4,3)

mat2 = torch.arange(12).reshape(3,4)

print(vec1 @ vec2) # 两个一维向量

print(mat2 @ vec1) # 一个二维和一个一维

print(mat1 @ mat2) # 两个二维向量

Output:

tensor(10)

tensor( $14, 38, 62$ )

tensor( $\[ 20, 23, 26, 29$ ,

$56, 68, 80, 92$ ,

$92, 113, 134, 155$ ,

$128, 158, 188, 218$ ])

torch.matmul() 【矩阵乘法，可高维，可广播】

torch.matmul() 与 @ 类似，但它不止局限于一维和二维，可以扩展到高维，且可以广播

如果输入的两个张量都是一维的，那么返回点积，得到一个数，对应的操作就是torch.dot()

如果输入的两个张量都是二维的，那么返回矩阵乘积，对应的操作就是torch.mm()

如果输入的第一个张量是二维的，第二个张量是一维的，matrix第二维需要与 vector维度相同，返回矩阵向量乘积，对应的操作就是torch.mv()

8、L2 元素平方求和开根号

L1 元素绝对值求和