【动手学深度学习】课程笔记 05-07 线性代数、矩阵计算和自动求导

05 线性代数

1. 基础知识补充

向量相关

矩阵相关

简单来说,范数是用来衡量矩阵(张量)大小的值,范数的值有不同的规定。

2. 代码实现

仅记录一些我比较陌生的知识。

张量的克隆

python 复制代码
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()  # 通过分配新内存,将A的一个副本分配给B
A, A + B

张量的降维

首先定义一个张量x,指定其元素的数据类型为32位的float:

python 复制代码
x = torch.arange(4, dtype=torch.float32)
x, x.sum()

接着调用求和函数,因为会对张量中的一些维度进行求和,求和后就相当于是降维了,这里的维度用轴axis来表示,0表示行,1表示列,下面是对行和列同时求和:

python 复制代码
A.sum(axis=[0, 1])  # 结果和A.sum()相同

axis = 0按照行,可以理解为把"行"给抹去只剩1行,也就是上下压扁。

axis = 1按照列,可以理解为把"列"给抹去只剩1列,也就是左右压扁。

点积

给定两个向量,它们的点积就是相同位置的元素乘积之和:

python 复制代码
y = torch.ones(4, dtype = torch.float32)
x, y, torch.dot(x, y)

矩阵-向量积、矩阵-矩阵积

矩阵和向量相乘:

python 复制代码
A.shape, x.shape, torch.mv(A, x)

矩阵和矩阵相乘:

python 复制代码
B = torch.ones(4, 3)
torch.mm(A, B)

范数

向量的范数表示一个向量有多大,这里的大小不涉及维度,指的是分量的大小。

常用的L2范数表示向量元素平方和的平方根,其实是将向量输入一个求平方和平方根的函数,就输出这个向量对应的L2范数:

python 复制代码
u = torch.tensor([3.0, -4.0])
torch.norm(u)

这也是唯一一个pytorch中定义的求范数函数,还有一个常用范数叫L1范数,其实就是元素的绝对值之和,它就没有特定的函数来计算了,因为比较好实现:

python 复制代码
torch.abs(u).sum()

前两个是对于向量来说的,矩阵的范数一般用的是Frobenius范数,它和L2范数一样,都是求平方和的平方根:

python 复制代码
torch.norm(torch.ones((4, 9)))
相关推荐
不会计算机的g_c__b几秒前
深入解析文本分类技术全景:从特征提取到深度学习架构
深度学习·分类·数据挖掘
呆头鹅AI工作室2 分钟前
[2025CVPR-目标检测方向] CorrBEV:多视图3D物体检测
人工智能·深度学习·神经网络·目标检测·计算机视觉·3d·卷积神经网络
云云3217 分钟前
Instagram千号矩阵:亚矩阵云手机破解设备指纹检测的终极方案
线性代数·智能手机·矩阵
岩中竹1 小时前
广东省省考备考(第四十九天7.18)——判断推理:位置规律(听课后强化训练)
笔记
Norvyn_72 小时前
LeetCode|Day18|20. 有效的括号|Python刷题笔记
笔记·python·leetcode
AndrewHZ2 小时前
【图像处理基石】如何入门色彩评估?
图像处理·人工智能·深度学习·色彩科学·hvs·色彩评估·颜色工程
静心问道2 小时前
TrOCR: 基于Transformer的光学字符识别方法,使用预训练模型
人工智能·深度学习·transformer·多模态
亲持红叶2 小时前
GLU 变种:ReGLU 、 GEGLU 、 SwiGLU
人工智能·深度学习·神经网络·激活函数
Y4090013 小时前
C语言转Java语言,相同与相异之处
java·c语言·开发语言·笔记
笑衬人心。3 小时前
TCP 拥塞控制算法 —— 慢启动(Slow Start)笔记
笔记·tcp/ip·php