PyTorch学习笔记|张量的广播和科学运算

pytorch中tensor设计了六大类数学运算，分别是： 1.逐点运算(Pointwise Ops)指的是针对Tensor中每个元素执行的相同运算操作; 2.规约运算(ReductionOps):指的是对于某一张量进行操作得出某种总结值; 3.比较运算(Comparison Ops):指的是对多个张量进行比较运算的相关方法; 4.谱运算(Spectral Ops):指的是涉及信号处理傅里叶变化的操作; 5.BLAS和LAPACK运算:指的是基础线性代数程序集(Basic Linear AlgeriaSubprograms)和线性代数包(Linear Algeria Package)中定义的、主要用于线性代数科学计算的函数和方法; 6.其他运算(Other Ops):其他未被归类的数学运算。

我们主要讲解逐点运算、规约运算、比较运算和线性代数运算。

广播运算

广播运算可以允许不同形状的张量之间进行计算，其实相同形状的张量计算，本质也是应用到了广播特性。

我们通过下面例子可以看出，实际计算中把t1扩展为4行4列再进行计算。

go 复制代码

import torch

t1 = torch.ones(1,4)
t2 = torch.zeros(4,4)
t1 + t2

我们简单说一下怎么样才能进行广播运算。

1.从两个张量的尾部维度（即最后一个维度）开始向前比较，维度较少的张量会在其形状前自动补1，直到两个张量的维度数相同。 2.对于对齐后的每个维度，必须满足以下条件之一：两个张量在该维度的长度相等；其中一个张量在该维度的长度为 1；其中一个张量在该维度上没有对应维度（即自动补1后，该维度长度为1）

逐点运算

这个还是比较简单的，大家记一下就行。

计算的时候要注意，有部分函数只能输入浮点型张量才能计算，不然会报错。

排序运算用sort函数。

go 复制代码

t = torch.tensor([1.0, 3.0, 2.0])
torch.sort(t)
torch.sort(t, descending=True)

# reslut
torch.return_types.sort(
values=tensor([1., 2., 3.]),
indices=tensor([0, 2, 1]))

torch.return_types.sort(
values=tensor([3., 2., 1.]),
indices=tensor([1, 2, 0]))

规约运算

规约运算指的是针对某张量进行某种总结，最后得出一个具体总结指的函数。