第18课 机器学习之线性代数基础 子空间(subspace) (李宏毅)

笔者语:

B站视频地址:https://www.bilibili.com/video/BV1R4411M7it/

笔记整理风格:全面、幽默,加以大模型提示的文案和介绍,适合做知识被长期遗忘后的重新学习

考试简洁版笔记可参考:李宏毅线性代数笔记7 子空间_向量空间的子空间满足的条件-CSDN博客

李老师原版PPT:https://speech.ee.ntu.edu.tw/~tlkagk/courses/LA_2018/Lecture/space%20(v2).pdf

0.subspace引入

《庄子·齐物论》中的思想与线性代数中的子空间概念之间存在异曲同工之妙。以下将详细阐述这两者的相似之处:

  1. 相对性:《齐物论》强调万物之间的相对性,认为世间万物的区分是相对的,没有绝对的标准。在线性代数中,子空间的概念也体现了这种相对性。一个向量空间可以有多个不同的子空间,这些子空间相对于整个向量空间来说是"小"的,但它们本身也是完整的向量空间,具有自己的结构和性质。同样,不同的子空间之间也可以相互比较和转换,没有绝对的优劣之分。

  2. 包含关系:《齐物论》中提到"天地与我并生,而万物与我为一",表达了一种万物包含于宇宙之中的思想。在线性代数中,子空间也有类似的包含关系。一个向量空间可以包含多个子空间,这些子空间是原向量空间的一部分,但它们具有自己独特的性质和结构。同时,不同的子空间之间也可以相互嵌套和包含,形成复杂的层次结构。

  3. 变换不变性:《齐物论》认为万物在本质上是相同的,即"道"的状态。在线性代数中,子空间也具有这种变换不变性。对于给定的一组基向量,可以通过线性组合得到该子空间中的任意向量。这种线性组合的过程就是对基向量进行变换的过程,但无论怎么变换,得到的向量仍然属于同一个子空间。这体现了子空间在变换下的不变性。

  4. 多样性与统一性:《齐物论》认为万物虽然千差万别,但在本质上是统一的。在线性代数中,子空间也体现了这种多样性与统一性。不同的子空间具有不同的性质和结构,但它们都是在同一个向量空间下的划分和描述。这种多样性与统一性的结合使得线性代数成为一个既丰富又有序的数学分支。

综上所述,《庄子·齐物论》与线性代数中的子空间概念在相对性、包含关系、变换不变性以及多样性与统一性等方面存在异曲同工之妙。这种相似性不仅体现了哲学与数学之间的深刻联系,也为我们理解世界提供了新的视角和思路。

1.subspace的定义

满足以下三个条件的向量集V称为子空间:

  1. 零向量属于V
  2. 如果向量u和向量w属于V,那么向量u+w属于V
  3. 如果向量u属于V,并且c是一个标量,那么向量cu属于V

→ 条件1说明:

  • 向量集非空
  • 0倍的向量u也在子空间中

→ 条件2+条件3正好是线性组合的两种方式

判断以下vector set是否是Subspace?

Subspace v.s. Span

Span------由这些向量线性组合张成的空间

线性代数中的span操作指的是由一组向量通过线性组合所生成的空间

在线性代数中,span是一个核心概念,它指的是一组向量的所有线性组合所构成的集合。简单来说,如果一个向量集合为{v1, v2, ..., vn},那么这个集合的span就是这些向量的所有可能组合。例如,在二维空间中,任何向量都可以表示为两个基向量的线性组合,这两个基向量的span就是整个二维空间。

具体来说,span列向量是矩阵中所有的列span成的空间。S为一向量空间V(附于体F)的子集合。所有S的线性组合构成的集合,称为S所张成的空间,记作Span(S)。形式化地说,设向量集合V={v1, v2, ..., vn},其中每个向量vi都属于n维向量空间R^n。那么V的span记为Span(V),它包含所有满足以下形式的向量:Span(V) = {a1v1 + a2v2 + ... + an*vn | a1, a2, ..., an ∈ R},其中a1, a2, ..., an是实数,表示向量v1, v2, ..., vn的系数。

2.Null Space 零空间

齐次线性方程组Ax=0的所有解构成的subspace称为Null Space.

零空间的free variable,也就是可变的(自由)变量。

dim(Null A)=自由变量个数=n-number of pivot columns=n-rank(A)

3.Column Space and Row Space 列空间与行空间

列空间就是一个矩阵所有列的span 的集合,因此,列空间也就是矩阵(函数)的值域的集合。

Row A=Col :可以把行空间翻转变成列空间

Av 每一列乘以v对应的数值作为权重,线性求和

Column Space = Range 列空间=值域

矩阵的Range是由矩阵列向量的所有线性组合构成的空间

4.RREF 简化行梯阵型矩阵

RREF是简化行梯阵型矩阵,即reduced row echelon form的缩写

RREF是一种通过初等行变换得到的矩阵形式,它要求每一行的首个非零元素(称为leading entry)为1,并且这个元素所在列的其他所有元素都为0。这种形式使得线性方程组的解可以直接从矩阵中读出,因为每个leading entry对应的变量可以直接被设置为该值,而其他变量则可以通过回代求解。

在数学和工程领域,RREF常用于解决线性方程组、计算矩阵的秩、寻找向量空间的基以及解决线性规划问题等。它是线性代数中一个重要的工具,因为它提供了一种系统的方法来处理和分析线性方程组和矩阵。
dim(col A)=number of pivot columns=rank A

5.Consistent 一致性

6.Conclusion: Subspace is Closed under addition and multiplication

课堂最后,老师必须玩一下抽象哈哈哈~

相关推荐
明明真系叻13 分钟前
第二十四周机器学习笔记:动手深度学习之——统计学习知识
笔记·深度学习·机器学习
算法黑哥1 小时前
机器学习最简单的分类任务入门
机器学习·支持向量机·分类
IT古董2 小时前
【漫话机器学习系列】005.神经网络的结构(architecture on the neural network)
人工智能·深度学习·神经网络·机器学习
知来者逆2 小时前
TimeXplusplus——提高时间序列数据的可解释性,避免琐解和分布偏移问题的深度学习可解释性的框架
人工智能·深度学习·机器学习·智能算法·学习框架
收到求救信号3 小时前
Representation + IL: Policy Contrastive Imitation Learning
人工智能·算法·机器学习
GOTXX3 小时前
三维场景重建3D高斯点渲染复现
人工智能·python·机器学习·数学建模·3d·统一建模语言·三维
深蓝学院3 小时前
CALMM-Drive:首个引入置信度感知的大多模态模型驱动的自动驾驶框架
人工智能·机器学习·自动驾驶
冰冰的coco5 小时前
概率、似然、最小二乘
人工智能·机器学习·概率论
B站计算机毕业设计超人5 小时前
计算机毕业设计Python+知识图谱大模型AI医疗问答系统 健康膳食推荐系统 食谱推荐系统 医疗大数据 机器学习 深度学习 人工智能 爬虫 大数据毕业设计
大数据·人工智能·python·深度学习·机器学习·知识图谱·数据可视化