深度学习-线性代数

Einstein·Jun2024-05-01 21:20

目录

标量

向量


矩阵



特殊矩阵


特征向量和特征值

标量由只有一个元素的张量表示

python 复制代码 
import torch
x = torch.tensor([3.0])
y = torch.tensor([2.0])
print(x + y)
print(x * y)
print(x / y)
print(x ** y)

结果：

将向量视为标量值组成的列表

python 复制代码 
import torch
x = torch.arange(4)
print(x)

结果：

通过张量的索引来访问任一元素

python 复制代码 
import torch
x = torch.arange(4)
print(x[3])

结果：

访问张量的长度

python 复制代码 
import torch
x = torch.arange(4)
print(len(x))

结果：

只有一个轴的张量，形状只有一个元素

python 复制代码 
import torch
x = torch.arange(4)
print(x.shape)

结果：
一个长为1的列表

通过指定两个分量m和n来创建一个形状为m×n的矩阵

python 复制代码 
import torch
A = torch.arange(20).reshape((5, 4))
print(A)

结果：

矩阵的转置

python 复制代码 
import torch
A = torch.arange(20).reshape((5, 4))
print(A.T)

结果：

对称矩阵的转置逻辑运算

python 复制代码 
import torch
B = torch.tensor([[1, 2, 3], [2, 0, 4], [3, 4, 5]])
print(B == B.T)

结果：

clone()复制一个有相同形状的张量

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()
print(A)
print(A + B)

结果：

两个矩阵的按元素乘法称为：哈达玛积⊙

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = A.clone()
print(A*B)

结果：

python 复制代码 
import torch
a = 2 #对矩阵中的每个元素+2
x = torch.arange(24).reshape(2, 3, 4) #reshape第一个参数可以看作是"块"或"层"的数量
print(x)
print(a + x)
print((a * x).shape)

结果：

python 复制代码 
print(a * x)

计算元素的和

python 复制代码 
import torch
x = torch.arange(4, dtype=torch.float32)
print(x)
print(x.sum())

结果：

表示任意形状张量的元素和

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A.shape)
print(A.sum())

结果：

参数axis=0求和

如果是二维则代表沿着行的方向（第一维）进行操作（从上到下）

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
A_sum_axis0 = A.sum(axis=0) 
print(A)
print(A_sum_axis0)
print(A_sum_axis0.shape)

结果：

参数axis=1求和

如果是二维则代表沿着列的方向（第二维）进行操作（从左到右）

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
A_sum_axis1 = A.sum(axis=1) 
print(A)
print(A_sum_axis1)
print(A_sum_axis1.shape)

结果：

axis=[0,1] 必须满足三个维度以上

对于三维及三维以上的，三个参数分别代表块/层方向（第一维度）、行方向（第二维度）、列方向（第三维度）
此时，就跟二维的有所区别

二维的：axis=0即第一维度------按行方向操作
axis=1即第二维度------按列方向操作

三维即三维以上的：
axis=0 即第一维度------按块/层方向操作
axis=1 即第二维度------按行方向操作
axis=2 即第三维度------按列方向操作

示例说明：

python 复制代码 
import torch
A = torch.arange(20*2, dtype=torch.float32).reshape(2, 5, 4)
print(A)
print(A.sum(axis=[0, 1]))

结果：


然后，第一层和第二层求和可得：

示例说明1

python 复制代码 
import torch
a = torch.arange(20).reshape((5, 4))
print(a.shape)

显示：

这里我们使用axis=0沿行方向求和（会丢失第一维度）：

python 复制代码 
import torch
a = torch.arange(20).reshape((5, 4))
print(a.sum(axis=0).shape)

结果：

这里我们使用axis=1沿列方向求和（会丢失第二维度）：

python 复制代码 
import torch
a = torch.arange(20).reshape((5, 4))
print(a.sum(axis=1).shape)

结果：

示例说明2

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.shape)

显示：

这里我们使用axis=0沿块/层方向求和（会丢失第一维度）：

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=0).shape)

结果：

这里我们使用axis=1沿行方向求和（会丢失第二维度）：

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=1).shape)

结果：

这里我们使用axis=2沿列方向求和（会丢失第三维度）：

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=2).shape)

结果：

这里我们使用axis=[1, 2]沿行和列方向求和（会丢失第二、三维度）：

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=[1, 2]).shape)

结果：

这里我们可以发现是先按照行方向求和计算，之后根据行方向计算的结果进行列方向求和计算。

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a)
print(a.sum(axis=1))
print(a.sum(axis=[1, 2]))
print(a.sum(axis=[1, 2]).shape)

结果：

示例说明3

keepdim=True使其不丢失维度，将维度变为1

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=1, keepdims=True).shape)

结果：

python 复制代码 
import torch
a = torch.arange(40).reshape((2, 5, 4))
print(a.sum(axis=[1, 2], keepdims=True).shape)

结果：

平均值（mean或average）

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A.mean())
print(A.sum()/A.numel())

结果：

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
print(A.mean(axis=0))

结果：

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
print(A.sum(axis=0)/A.shape[0]) #求和的那个维度丢掉了，即按行方向的维度丢掉了

结果：

A.shape[0]表示第一个维度（行方向）的元素数
所以用A.shape[1]测试一下是不是元素数

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A)
print(A.sum(axis=1)/A.shape[1]) #求和的那个维度丢掉了，即按列方向的维度丢掉了

计算总和或均值时保持轴数不变（即维度不丢失）使用keepdim=True

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
sum_A = A.sum(axis=1, keepdim=True)
print(sum_A)

结果：


当调用.sum()方法（或类似的聚合方法，如.mean()、.max()等）时，你可以选择是否保持被聚合维度的形状。keepdim=True是一个参数，当设置为True时，它会使得聚合操作后的张量在被聚合的维度上仍然保持一个大小为1的维度，而不是完全去除这个维度。

keepdim=True保持唯一，不丢失求和的维度，然后才能使用广播机制

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
sum_A = A.sum(axis=1, keepdim=True)
print(A)
print(sum_A)
print(A/sum_A)

某个轴计算A元素的累积和（即前缀和）

累积和的意思是，对于每个位置，你会将该位置及其之前所有位置上的元素相加。第一个位置的元素保持不变（因为没有之前的元素可以相加），之后的每个位置的元素都是它自身和它之前所有元素的和。

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
print(A.cumsum(axis=0))

结果：

点积dot（参数1，参数2）

torch.dot只能对一维向量做点积

python 复制代码 
import torch
x = torch.arange(4, dtype=torch.float32)
print(x)
y = torch.ones(4, dtype=torch.float32)
print(y)
print(torch.dot(x, y))

结果：

矩阵向量积torch.mv(参数1，参数2)


A是一个m×n的矩阵，x是一个n×1的一列，所以得到一个m的列向量。
m列中第i个元素是点积 a i T a_i^T aiTx

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
x = torch.arange(4, dtype=torch.float32)
print(A.shape)
print(x.shape)
print(torch.mv(A, x))

结果：

矩阵乘法

矩阵乘法可以看作执行n次矩阵的向量积，然后拼接在一块，形成一个m×n的矩阵。
A：m×q的矩阵
B：q×n的矩阵
AB：m×n的矩阵

python 复制代码 
import torch
A = torch.arange(20, dtype=torch.float32).reshape(5, 4)
B = torch.ones(4, 3)
print(torch.mm(A, B))

结果：

norm（）函数

第二范数是向量元素平方和的平方根

python 复制代码 
import torch
u = torch.tensor([3.0, -4.0])
print(torch.norm(u))

结果：

向量元素的绝对值之和

python 复制代码 
import torch
u = torch.tensor([3.0, -4.0])
print(torch.abs(u).sum())

结果：

F范式：矩阵元素的平方和的平方根

python 复制代码 
import torch
print(torch.norm(torch.ones((4, 9))))

结果：

相关推荐
ai产品老杨11 分钟前
打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程的智慧工业开源了
人工智能·开源·音视频·能源
小陈phd1 小时前
高级RAG策略学习（五）——llama_index实现上下文窗口增强检索RAG
人工智能
凯禾瑞华养老实训室3 小时前
人才教育导向下：老年生活照护实训室助力提升学生老年照护服务能力
人工智能
湫兮之风4 小时前
Opencv: cv::LUT()深入解析图像块快速查表变换
人工智能·opencv·计算机视觉
Christo34 小时前
TFS-2018《On the convergence of the sparse possibilistic c-means algorithm》
人工智能·算法·机器学习·数据挖掘
qq_508823404 小时前
金融量化指标--2Alpha 阿尔法
大数据·人工智能
黑金IT5 小时前
`.cursorrules` 与 `.cursorcontext`：Cursor AI 编程助手时代下的“双轨配置”指南
人工智能
阿巴Jun5 小时前
【数学】线性代数知识点总结
笔记·线性代数·矩阵
dlraba8025 小时前
基于 OpenCV 的信用卡数字识别：从原理到实现
人工智能·opencv·计算机视觉
IMER SIMPLE6 小时前
人工智能-python-深度学习-经典神经网络AlexNet
人工智能·python·深度学习
热门推荐
01UV安装并设置国内源022025 年高教社杯全国大学生数学建模竞赛C 题 NIPT 的时点选择与胎儿的异常判定 完整成品思路模型代码分享，全网首发高质量！！！032025年数学建模国赛C题超详细解题思路04A股预测还能更准？开源大模型Kronos带你跑通预测+回测全流程05不再让Windows更新！&Edge游戏助手卸载及关闭自动更新06KGG转MP3工具|非KGM文件|解密音频07UV 工具安装与国内镜像源配置指南08突破百度网盘的下载限速，两种方法教会你【超详细】09Linux下V2Ray安装配置指南10教你如何认证 Gemini 教育优惠的二次验证，薅个 1年的 Gemini Pro 会员