机器学习线性代数--(12)抽象向量空间:超越箭头的世界

从具体的几何箭头,走向普适的数学结构

在之前的旅程中,我们一直把向量想象成空间中的箭头,用坐标表示,并用矩阵描述它们的变换。这种几何直觉极其强大,但它只是冰山一角。事实上,线性代数的核心思想可以推广到远比箭头更抽象的对象上------比如函数、多项式、数列,甚至音频信号。这就是抽象向量空间的概念,它让我们看到,不同领域的数学问题其实遵循着相同的代数规律。


12.1 为什么需要抽象?

回顾我们学过的内容:

  • 向量可以相加,也可以被数乘。
  • 线性变换保持加法和数乘。
  • 我们有基、维数、点积、特征向量等概念。

这些概念并不仅仅适用于 R n \mathbb{R}^n Rn 中的箭头。只要一个集合定义了"加法"和"数乘"两种运算,并且满足一些基本规则,我们就可以把它看作一个向量空间,并将之前的所有几何直觉迁移过来。这种抽象让我们能够用统一的语言处理各种数学对象。


12.2 向量空间的定义:八条公理

一个集合 V V V 如果满足以下条件,就称为一个向量空间 (定义在实数域 R \mathbb{R} R 上):

  1. 加法封闭性 :对任意 u ⃗ , v ⃗ ∈ V \vec{u}, \vec{v} \in V u ,v ∈V, u ⃗ + v ⃗ ∈ V \vec{u} + \vec{v} \in V u +v ∈V。
  2. 加法交换律 : u ⃗ + v ⃗ = v ⃗ + u ⃗ \vec{u} + \vec{v} = \vec{v} + \vec{u} u +v =v +u 。
  3. 加法结合律 : ( u ⃗ + v ⃗ ) + w ⃗ = u ⃗ + ( v ⃗ + w ⃗ ) (\vec{u} + \vec{v}) + \vec{w} = \vec{u} + (\vec{v} + \vec{w}) (u +v )+w =u +(v +w )。
  4. 零向量 :存在 0 ⃗ ∈ V \vec{0} \in V 0 ∈V,使得 v ⃗ + 0 ⃗ = v ⃗ \vec{v} + \vec{0} = \vec{v} v +0 =v 。
  5. 加法逆元 :对每个 v ⃗ \vec{v} v ,存在 − v ⃗ -\vec{v} −v 使得 v ⃗ + ( − v ⃗ ) = 0 ⃗ \vec{v} + (-\vec{v}) = \vec{0} v +(−v )=0 。
  6. 数乘封闭性 :对任意 c ∈ R c \in \mathbb{R} c∈R, v ⃗ ∈ V \vec{v} \in V v ∈V, c v ⃗ ∈ V c\vec{v} \in V cv ∈V。
  7. 数乘分配律(向量加法) : c ( u ⃗ + v ⃗ ) = c u ⃗ + c v ⃗ c(\vec{u} + \vec{v}) = c\vec{u} + c\vec{v} c(u +v )=cu +cv 。
  8. 数乘分配律(标量加法) : ( c + d ) v ⃗ = c v ⃗ + d v ⃗ (c + d)\vec{v} = c\vec{v} + d\vec{v} (c+d)v =cv +dv 。
  9. 数乘结合律 : c ( d v ⃗ ) = ( c d ) v ⃗ c(d\vec{v}) = (cd)\vec{v} c(dv )=(cd)v 。
  10. 单位元 : 1 v ⃗ = v ⃗ 1\vec{v} = \vec{v} 1v =v 。

这些规则保证了我们可以像处理箭头一样处理抽象向量。


12.3 抽象向量空间的例子

1) 多项式空间

所有次数不超过 n n n 的实系数多项式构成的集合,记作 P n \mathcal{P}_n Pn。例如:
p ( x ) = a 0 + a 1 x + a 2 x 2 + ⋯ + a n x n p(x) = a_0 + a_1x + a_2x^2 + \cdots + a_nx^n p(x)=a0+a1x+a2x2+⋯+anxn

  • 加法:两个多项式相加,对应系数相加。
  • 数乘 :一个多项式乘以常数 c c c,每个系数乘以 c c c。
  • 零向量:零多项式(所有系数为0)。
  • 线性无关 :例如 1 , x , x 2 , ... , x n 1, x, x^2, \dots, x^n 1,x,x2,...,xn 就是一组基,维数为 n + 1 n+1 n+1。
2) 函数空间

所有定义在区间 [ 0 , 1 ] [0,1] [0,1] 上的实值函数构成的集合。例如 f ( x ) = sin ⁡ x f(x) = \sin x f(x)=sinx, g ( x ) = e x g(x) = e^x g(x)=ex 等。

  • 加法 :逐点相加, ( f + g ) ( x ) = f ( x ) + g ( x ) (f+g)(x) = f(x) + g(x) (f+g)(x)=f(x)+g(x)。
  • 数乘 :逐点相乘常数, ( c f ) ( x ) = c f ( x ) (cf)(x) = c f(x) (cf)(x)=cf(x)。
  • 零向量 :恒零函数 f ( x ) ≡ 0 f(x) \equiv 0 f(x)≡0。
  • 这是一个无限维空间(需要无穷多个基函数才能表示所有函数)。
3) 数列空间

所有实数无穷序列 ( a 1 , a 2 , a 3 , ...   ) (a_1, a_2, a_3, \dots) (a1,a2,a3,...) 构成的集合。

  • 加法:对应项相加。
  • 数乘:每个元素乘以常数。
  • 这也是无限维的。
4) 矩阵空间

所有 m × n m\times n m×n 实矩阵构成的集合。

  • 加法:矩阵对应元素相加。
  • 数乘:每个元素乘以常数。
  • 这是一个 m n mn mn 维空间,一组基可以是那些只有一个元素为1、其余为0的矩阵。

12.4 线性变换的推广

在抽象向量空间中,线性变换 T : V → W T: V \to W T:V→W 仍然是保持加法和数乘的映射:
T ( u ⃗ + v ⃗ ) = T ( u ⃗ ) + T ( v ⃗ ) , T ( c u ⃗ ) = c T ( u ⃗ ) T(\vec{u} + \vec{v}) = T(\vec{u}) + T(\vec{v}), \quad T(c\vec{u}) = c T(\vec{u}) T(u +v )=T(u )+T(v ),T(cu )=cT(u )

例子:微分算子

考虑多项式空间 P n \mathcal{P}_n Pn。求导运算 D : P n → P n − 1 D: \mathcal{P}n \to \mathcal{P}{n-1} D:Pn→Pn−1 定义为:
D ( p ) = p ′ D(p) = p' D(p)=p′

这是一个线性变换,因为 ( p + q ) ′ = p ′ + q ′ (p+q)' = p' + q' (p+q)′=p′+q′, ( c p ) ′ = c p ′ (cp)' = c p' (cp)′=cp′。

例子:积分算子

在连续函数空间上,积分 J : C [ 0 , 1 ] → R J: C[0,1] \to \mathbb{R} J:C[0,1]→R 定义为:
J ( f ) = ∫ 0 1 f ( x )   d x J(f) = \int_0^1 f(x) \, dx J(f)=∫01f(x)dx

这也是线性的: ∫ ( f + g ) = ∫ f + ∫ g \int (f+g) = \int f + \int g ∫(f+g)=∫f+∫g, ∫ c f = c ∫ f \int cf = c\int f ∫cf=c∫f。

例子:矩阵乘法的抽象对应

在有限维抽象向量空间中,选定一组基后,每个线性变换都可以用一个矩阵表示,矩阵乘法对应于变换的复合。这正是我们之前学过的内容在抽象层面的重现。


12.5 基与维数

抽象向量空间同样有基和维数的概念。一组 是线性无关且张成整个空间的向量集合。维数就是基中向量的个数。

  • 多项式空间 P n \mathcal{P}_n Pn 的维数是 n + 1 n+1 n+1,基可以是 { 1 , x , x 2 , ... , x n } \{1, x, x^2, \dots, x^n\} {1,x,x2,...,xn}。

  • 所有 2 × 2 2\times 2 2×2 矩阵构成的空间的维数是4,基可以是:

    1 0 0 0 \] ,   \[ 0 1 0 0 \] ,   \[ 0 0 1 0 \] ,   \[ 0 0 0 1 \] \\begin{bmatrix}1\&0\\\\0\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&1\\\\0\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&0\\\\1\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&0\\\\0\&1\\end{bmatrix} \[1000\],\[0010\],\[0100\],\[0001

  • 无限维空间(如所有连续函数)没有有限基,但我们可以用傅里叶级数等无穷基展开。


12.6 内积与几何直觉

在抽象空间中,我们可以引入内积(推广的点积),从而定义长度、角度和正交性。例如:

  • 在多项式空间 P n \mathcal{P}n Pn 上,可以定义内积:
    ⟨ p , q ⟩ = ∫ − 1 1 p ( x ) q ( x )   d x \langle p, q \rangle = \int
    {-1}^1 p(x) q(x) \, dx ⟨p,q⟩=∫−11p(x)q(x)dx

    这样,两个多项式"垂直"意味着它们的乘积积分为零。

  • 在函数空间上,常用内积 ⟨ f , g ⟩ = ∫ a b f ( x ) g ( x )   d x \langle f, g \rangle = \int_a^b f(x) g(x) \, dx ⟨f,g⟩=∫abf(x)g(x)dx,这正是傅里叶分析的基础。

有了内积,我们可以谈论向量的模长 ∥ p ∥ = ⟨ p , p ⟩ \|p\| = \sqrt{\langle p, p \rangle} ∥p∥=⟨p,p⟩ ,以及投影等几何概念。


12.7 所有有限维向量空间本质上都是 R n \mathbb{R}^n Rn

一个深刻的结论是:任何 n n n 维实向量空间(满足八条公理)都与 R n \mathbb{R}^n Rn 同构 。也就是说,存在一个一一对应的线性映射(称为同构)将抽象向量映射到 R n \mathbb{R}^n Rn 中的箭头,并且保持加法和数乘。

例如:

  • 二维多项式空间 P 2 \mathcal{P}_2 P2(基 { 1 , x } \{1, x\} {1,x})与 R 2 \mathbb{R}^2 R2 同构:多项式 a + b x a + bx a+bx 对应向量 [ a b ] \begin{bmatrix}a\\b\end{bmatrix} [ab]。
  • 所有 2 × 2 2\times 2 2×2 矩阵与 R 4 \mathbb{R}^4 R4 同构。

这意味着,我们在 R n \mathbb{R}^n Rn 中学到的所有线性代数工具(基变换、特征值、对角化等)都可以直接应用到任何有限维抽象向量空间。只需选定一组基,将抽象向量翻译成坐标,问题就变成了我们熟悉的模样。


12.8 为什么抽象如此重要?

  • 统一性:不同领域的数学问题可以用同一种语言描述。比如微分方程、信号处理、量子力学都使用线性代数框架。
  • 洞察本质:去掉具体对象的干扰,我们更容易看清结构。比如微分算子和矩阵的特征值问题本质上是同一回事。
  • 推广到无限维:无限维抽象向量空间(希尔伯特空间)是现代数学和物理的基石,如量子力学中的态空间就是复内积空间。

12.9 总结

  • 抽象向量空间 是一个集合,定义了加法和数乘运算,并满足八条公理。
  • 常见的例子包括多项式空间、函数空间、数列空间、矩阵空间等。
  • 线性变换 在抽象空间中仍然保持线性,如微分算子、积分算子。
  • 有限维抽象向量空间都与 R n \mathbb{R}^n Rn 同构,因此我们的几何直觉可以迁移。
  • 内积 让我们在抽象空间中也能谈论长度和角度。
  • 抽象化是数学的强大工具,它让我们看到不同领域的统一性。

从箭头的世界出发,我们一步步走向了更广阔的数学宇宙。希望这个系列能帮你建立起对线性代数的深刻直觉------它不仅仅是关于数字的游戏,更是关于结构和变换的普适语言。

上一章 机器学习线性代数--(11)特征向量与特征值:变换的"主轴"

相关推荐
TG_yunshuguoji2 小时前
阿里云渠道商:百炼模型调优实战 5 步完成高效训练
人工智能·机器学习·阿里云·云计算
Zero2 小时前
机器学习线性代数--(9)叉积
人工智能·线性代数·机器学习
Zero2 小时前
机器学习线性代数--(8)点积与对偶性
人工智能·线性代数·机器学习
Zero2 小时前
机器学习线性代数--(11)特征向量与特征值:变换的“主轴”
线性代数·机器学习
忙什么果2 小时前
class_weight=‘balanced‘缓解类别不平衡问题
算法·机器学习·支持向量机
Neverfadeaway2 小时前
支持向量机SVM详讲
机器学习·支持向量机·kkt条件·对偶问题·svm算法·核函数的定义·最优超平面的求解
vx_biyesheji000115 小时前
Python 全国城市租房洞察系统 Django框架 Requests爬虫 可视化 房子 房源 大数据 大模型 计算机毕业设计源码(建议收藏)✅
爬虫·python·机器学习·django·flask·课程设计·旅游
湘美书院--湘美谈教育15 小时前
湘美谈教育湘美书院网文研究:人工智能与微型小说选集
人工智能·深度学习·神经网络·机器学习·ai写作
zh路西法17 小时前
【宇树机器人强化学习】(七):复杂地形的生成与训练
python·深度学习·机器学习·机器人