机器学习线性代数--(12)抽象向量空间:超越箭头的世界

从具体的几何箭头,走向普适的数学结构

在之前的旅程中,我们一直把向量想象成空间中的箭头,用坐标表示,并用矩阵描述它们的变换。这种几何直觉极其强大,但它只是冰山一角。事实上,线性代数的核心思想可以推广到远比箭头更抽象的对象上------比如函数、多项式、数列,甚至音频信号。这就是抽象向量空间的概念,它让我们看到,不同领域的数学问题其实遵循着相同的代数规律。


12.1 为什么需要抽象?

回顾我们学过的内容:

  • 向量可以相加,也可以被数乘。
  • 线性变换保持加法和数乘。
  • 我们有基、维数、点积、特征向量等概念。

这些概念并不仅仅适用于 R n \mathbb{R}^n Rn 中的箭头。只要一个集合定义了"加法"和"数乘"两种运算,并且满足一些基本规则,我们就可以把它看作一个向量空间,并将之前的所有几何直觉迁移过来。这种抽象让我们能够用统一的语言处理各种数学对象。


12.2 向量空间的定义:八条公理

一个集合 V V V 如果满足以下条件,就称为一个向量空间 (定义在实数域 R \mathbb{R} R 上):

  1. 加法封闭性 :对任意 u ⃗ , v ⃗ ∈ V \vec{u}, \vec{v} \in V u ,v ∈V, u ⃗ + v ⃗ ∈ V \vec{u} + \vec{v} \in V u +v ∈V。
  2. 加法交换律 : u ⃗ + v ⃗ = v ⃗ + u ⃗ \vec{u} + \vec{v} = \vec{v} + \vec{u} u +v =v +u 。
  3. 加法结合律 : ( u ⃗ + v ⃗ ) + w ⃗ = u ⃗ + ( v ⃗ + w ⃗ ) (\vec{u} + \vec{v}) + \vec{w} = \vec{u} + (\vec{v} + \vec{w}) (u +v )+w =u +(v +w )。
  4. 零向量 :存在 0 ⃗ ∈ V \vec{0} \in V 0 ∈V,使得 v ⃗ + 0 ⃗ = v ⃗ \vec{v} + \vec{0} = \vec{v} v +0 =v 。
  5. 加法逆元 :对每个 v ⃗ \vec{v} v ,存在 − v ⃗ -\vec{v} −v 使得 v ⃗ + ( − v ⃗ ) = 0 ⃗ \vec{v} + (-\vec{v}) = \vec{0} v +(−v )=0 。
  6. 数乘封闭性 :对任意 c ∈ R c \in \mathbb{R} c∈R, v ⃗ ∈ V \vec{v} \in V v ∈V, c v ⃗ ∈ V c\vec{v} \in V cv ∈V。
  7. 数乘分配律(向量加法) : c ( u ⃗ + v ⃗ ) = c u ⃗ + c v ⃗ c(\vec{u} + \vec{v}) = c\vec{u} + c\vec{v} c(u +v )=cu +cv 。
  8. 数乘分配律(标量加法) : ( c + d ) v ⃗ = c v ⃗ + d v ⃗ (c + d)\vec{v} = c\vec{v} + d\vec{v} (c+d)v =cv +dv 。
  9. 数乘结合律 : c ( d v ⃗ ) = ( c d ) v ⃗ c(d\vec{v}) = (cd)\vec{v} c(dv )=(cd)v 。
  10. 单位元 : 1 v ⃗ = v ⃗ 1\vec{v} = \vec{v} 1v =v 。

这些规则保证了我们可以像处理箭头一样处理抽象向量。


12.3 抽象向量空间的例子

1) 多项式空间

所有次数不超过 n n n 的实系数多项式构成的集合,记作 P n \mathcal{P}_n Pn。例如:
p ( x ) = a 0 + a 1 x + a 2 x 2 + ⋯ + a n x n p(x) = a_0 + a_1x + a_2x^2 + \cdots + a_nx^n p(x)=a0+a1x+a2x2+⋯+anxn

  • 加法:两个多项式相加,对应系数相加。
  • 数乘 :一个多项式乘以常数 c c c,每个系数乘以 c c c。
  • 零向量:零多项式(所有系数为0)。
  • 线性无关 :例如 1 , x , x 2 , ... , x n 1, x, x^2, \dots, x^n 1,x,x2,...,xn 就是一组基,维数为 n + 1 n+1 n+1。
2) 函数空间

所有定义在区间 0 , 1 0,1 0,1 上的实值函数构成的集合。例如 f ( x ) = sin ⁡ x f(x) = \sin x f(x)=sinx, g ( x ) = e x g(x) = e^x g(x)=ex 等。

  • 加法 :逐点相加, ( f + g ) ( x ) = f ( x ) + g ( x ) (f+g)(x) = f(x) + g(x) (f+g)(x)=f(x)+g(x)。
  • 数乘 :逐点相乘常数, ( c f ) ( x ) = c f ( x ) (cf)(x) = c f(x) (cf)(x)=cf(x)。
  • 零向量 :恒零函数 f ( x ) ≡ 0 f(x) \equiv 0 f(x)≡0。
  • 这是一个无限维空间(需要无穷多个基函数才能表示所有函数)。
3) 数列空间

所有实数无穷序列 ( a 1 , a 2 , a 3 , ...   ) (a_1, a_2, a_3, \dots) (a1,a2,a3,...) 构成的集合。

  • 加法:对应项相加。
  • 数乘:每个元素乘以常数。
  • 这也是无限维的。
4) 矩阵空间

所有 m × n m\times n m×n 实矩阵构成的集合。

  • 加法:矩阵对应元素相加。
  • 数乘:每个元素乘以常数。
  • 这是一个 m n mn mn 维空间,一组基可以是那些只有一个元素为1、其余为0的矩阵。

12.4 线性变换的推广

在抽象向量空间中,线性变换 T : V → W T: V \to W T:V→W 仍然是保持加法和数乘的映射:
T ( u ⃗ + v ⃗ ) = T ( u ⃗ ) + T ( v ⃗ ) , T ( c u ⃗ ) = c T ( u ⃗ ) T(\vec{u} + \vec{v}) = T(\vec{u}) + T(\vec{v}), \quad T(c\vec{u}) = c T(\vec{u}) T(u +v )=T(u )+T(v ),T(cu )=cT(u )

例子:微分算子

考虑多项式空间 P n \mathcal{P}_n Pn。求导运算 D : P n → P n − 1 D: \mathcal{P}n \to \mathcal{P}{n-1} D:Pn→Pn−1 定义为:
D ( p ) = p ′ D(p) = p' D(p)=p′

这是一个线性变换,因为 ( p + q ) ′ = p ′ + q ′ (p+q)' = p' + q' (p+q)′=p′+q′, ( c p ) ′ = c p ′ (cp)' = c p' (cp)′=cp′。

例子:积分算子

在连续函数空间上,积分 J : C 0 , 1 → R J: C0,1 \to \mathbb{R} J:C0,1→R 定义为:
J ( f ) = ∫ 0 1 f ( x )   d x J(f) = \int_0^1 f(x) \, dx J(f)=∫01f(x)dx

这也是线性的: ∫ ( f + g ) = ∫ f + ∫ g \int (f+g) = \int f + \int g ∫(f+g)=∫f+∫g, ∫ c f = c ∫ f \int cf = c\int f ∫cf=c∫f。

例子:矩阵乘法的抽象对应

在有限维抽象向量空间中,选定一组基后,每个线性变换都可以用一个矩阵表示,矩阵乘法对应于变换的复合。这正是我们之前学过的内容在抽象层面的重现。


12.5 基与维数

抽象向量空间同样有基和维数的概念。一组 是线性无关且张成整个空间的向量集合。维数就是基中向量的个数。

  • 多项式空间 P n \mathcal{P}_n Pn 的维数是 n + 1 n+1 n+1,基可以是 { 1 , x , x 2 , ... , x n } \{1, x, x^2, \dots, x^n\} {1,x,x2,...,xn}。

  • 所有 2 × 2 2\times 2 2×2 矩阵构成的空间的维数是4,基可以是:

    1 0 0 0 \] ,   \[ 0 1 0 0 \] ,   \[ 0 0 1 0 \] ,   \[ 0 0 0 1 \] \\begin{bmatrix}1\&0\\\\0\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&1\\\\0\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&0\\\\1\&0\\end{bmatrix},\\, \\begin{bmatrix}0\&0\\\\0\&1\\end{bmatrix} \[1000\],\[0010\],\[0100\],\[0001

  • 无限维空间(如所有连续函数)没有有限基,但我们可以用傅里叶级数等无穷基展开。


12.6 内积与几何直觉

在抽象空间中,我们可以引入内积(推广的点积),从而定义长度、角度和正交性。例如:

  • 在多项式空间 P n \mathcal{P}n Pn 上,可以定义内积:
    ⟨ p , q ⟩ = ∫ − 1 1 p ( x ) q ( x )   d x \langle p, q \rangle = \int
    {-1}^1 p(x) q(x) \, dx ⟨p,q⟩=∫−11p(x)q(x)dx

    这样,两个多项式"垂直"意味着它们的乘积积分为零。

  • 在函数空间上,常用内积 ⟨ f , g ⟩ = ∫ a b f ( x ) g ( x )   d x \langle f, g \rangle = \int_a^b f(x) g(x) \, dx ⟨f,g⟩=∫abf(x)g(x)dx,这正是傅里叶分析的基础。

有了内积,我们可以谈论向量的模长 ∥ p ∥ = ⟨ p , p ⟩ \|p\| = \sqrt{\langle p, p \rangle} ∥p∥=⟨p,p⟩ ,以及投影等几何概念。


12.7 所有有限维向量空间本质上都是 R n \mathbb{R}^n Rn

一个深刻的结论是:任何 n n n 维实向量空间(满足八条公理)都与 R n \mathbb{R}^n Rn 同构 。也就是说,存在一个一一对应的线性映射(称为同构)将抽象向量映射到 R n \mathbb{R}^n Rn 中的箭头,并且保持加法和数乘。

例如:

  • 二维多项式空间 P 2 \mathcal{P}_2 P2(基 { 1 , x } \{1, x\} {1,x})与 R 2 \mathbb{R}^2 R2 同构:多项式 a + b x a + bx a+bx 对应向量 a b \begin{bmatrix}a\\b\end{bmatrix} ab
  • 所有 2 × 2 2\times 2 2×2 矩阵与 R 4 \mathbb{R}^4 R4 同构。

这意味着,我们在 R n \mathbb{R}^n Rn 中学到的所有线性代数工具(基变换、特征值、对角化等)都可以直接应用到任何有限维抽象向量空间。只需选定一组基,将抽象向量翻译成坐标,问题就变成了我们熟悉的模样。


12.8 为什么抽象如此重要?

  • 统一性:不同领域的数学问题可以用同一种语言描述。比如微分方程、信号处理、量子力学都使用线性代数框架。
  • 洞察本质:去掉具体对象的干扰,我们更容易看清结构。比如微分算子和矩阵的特征值问题本质上是同一回事。
  • 推广到无限维:无限维抽象向量空间(希尔伯特空间)是现代数学和物理的基石,如量子力学中的态空间就是复内积空间。

12.9 总结

  • 抽象向量空间 是一个集合,定义了加法和数乘运算,并满足八条公理。
  • 常见的例子包括多项式空间、函数空间、数列空间、矩阵空间等。
  • 线性变换 在抽象空间中仍然保持线性,如微分算子、积分算子。
  • 有限维抽象向量空间都与 R n \mathbb{R}^n Rn 同构,因此我们的几何直觉可以迁移。
  • 内积 让我们在抽象空间中也能谈论长度和角度。
  • 抽象化是数学的强大工具,它让我们看到不同领域的统一性。

从箭头的世界出发,我们一步步走向了更广阔的数学宇宙。希望这个系列能帮你建立起对线性代数的深刻直觉------它不仅仅是关于数字的游戏,更是关于结构和变换的普适语言。

上一章 机器学习线性代数--(11)特征向量与特征值:变换的"主轴"

相关推荐
大模型最新论文速读5 分钟前
06-04 · LLM 最新论文速览
论文阅读·人工智能·深度学习·机器学习·自然语言处理
数智工坊2 小时前
周志华《Machine Learning》学习笔记--第五章--神经网络
人工智能·笔记·神经网络·学习·机器学习
数智工坊3 小时前
周志华《Machine Learning》学习笔记--第七章--贝叶斯分类器
人工智能·笔记·神经网络·学习·机器学习
zzzzzz3103 小时前
GitHub 今日爆火!headroom:一个帮你省 60-95% Token 的 AI Agent 上下文压缩神器
git·机器学习·github
Hali_Botebie3 小时前
为什么静态3DGS+轨迹回放,可以通过强化学习训练端到端自动驾驶?
人工智能·机器学习·自动驾驶
AI科技星3 小时前
依托Gε₀ = e²/(4παmₚ²)核心方程:全新公式推导+原创理论提炼+全维度精算验证
人工智能·线性代数·架构·概率论·学习方法
计算机安禾3 小时前
【算法分析与设计】第44篇:随机化复杂度类:RP、BPP与去随机化猜想
java·数据结构·数据库·算法·机器学习
丨白色风车丨3 小时前
机器学习数据预处理:6 种缺失值填充方法完整实现(CCA / 均值 / 中位数 / 众数 / 线性回归 / 随机森林)
机器学习·均值算法·线性回归
MartinYeung54 小时前
[论文学习]利用自学习激活函数强化全同态加密下的隐私保护机器学习
学习·机器学习·同态加密