线性代数中的五空间

参考

位姿线性变换与坐标变换

线性代数中的五空间

矩阵 A ∈ R m × n A \in \mathbb{R}^{m \times n} A∈Rm×n 的核心结构可以通过五个空间理解：

行空间（Row Space）
列空间（Column Space）
零空间（Null Space）
左零空间（Left Null Space）
对偶空间（Dual Space）

前四个空间（行空间、列空间、零空间、左零空间）是矩阵计算和几何理解的基础，用于描述向量组合、线性方程组的解与正交补关系；对偶空间是更抽象的线性代数视角：

左零空间是列空间在 R m \mathbb{R}^m Rm 中的正交补，也可以看作列空间在对偶空间中的零化子（annihilator）。
行空间是零空间在 R n \mathbb{R}^n Rn 中的正交补。

定义

列空间（Column Space）

原始形式：
C ( A ) = { A x : x ∈ R n } ⊆ R m \text{C}(A) = \{ Ax : x \in \mathbb{R}^n \} \subseteq \mathbb{R}^m C(A)={Ax:x∈Rn}⊆Rm

索引列向量形式：
C ( A ) = span { A : , j ∣ j = 1 , 2 , ... , n } ⊆ R m \text{C}(A) = \text{span}\{ A_{:,j} \mid j=1,2,\dots,n \} \subseteq \mathbb{R}^m C(A)=span{A:,j∣j=1,2,...,n}⊆Rm

行空间（Row Space）

原始形式：
R ( A ) = { y ∈ R n : y = ∑ i = 1 m c i A i , : , c i ∈ R } ⊆ R n \text{R}(A) = \{ y \in \mathbb{R}^n : y = \sum_{i=1}^m c_i A_{i,:},\ c_i \in \mathbb{R} \} \subseteq \mathbb{R}^n R(A)={y∈Rn:y=i=1∑mciAi,:, ci∈R}⊆Rn

索引行向量形式：
R ( A ) = span { A i , : ∣ i = 1 , 2 , ... , m } ⊆ R n \text{R}(A) = \text{span}\{ A_{i,:} \mid i=1,2,\dots,m \} \subseteq \mathbb{R}^n R(A)=span{Ai,:∣i=1,2,...,m}⊆Rn

零空间（Null Space）
Null ( A ) = { x ∈ R n : A x = 0 } \text{Null}(A) = \{ x \in \mathbb{R}^n : Ax = 0 \} Null(A)={x∈Rn:Ax=0}
左零空间（Left Null Space）
LeftNull ( A ) = { y ∈ R m : y T A = 0 } \text{LeftNull}(A) = \{ y \in \mathbb{R}^m : y^T A = 0 \} LeftNull(A)={y∈Rm:yTA=0}
对偶空间（Dual Space）

域 F F F 上的向量空间 V V V，其对偶空间 V ∗ V^* V∗ 为从 V V V 到标量域 F F F 的所有线性映射组成的向量空间，即
V ∗ = { f : V → F ∣ f 是线性映射 } V^* = \{ f: V \to F \mid f \text{ 是线性映射} \} V∗={f:V→F∣f 是线性映射}

在矩阵语境下，考虑 A ∈ R m × n A \in \mathbb{R}^{m \times n} A∈Rm×n，列空间 C ( A ) ⊆ R m \text{C}(A) \subseteq \mathbb{R}^m C(A)⊆Rm。

左零空间 LeftNull ( A ) ⊆ R m \text{LeftNull}(A) \subseteq \mathbb{R}^m LeftNull(A)⊆Rm 可以理解为作用在列空间上恒为零的线性泛函的向量表示，即列空间在对偶空间中的零化子（annihilator）：
y ∈ LeftNull ( A ) ⟺ y T v = 0 , ∀ v ∈ C ( A ) . y \in \text{LeftNull}(A) \quad \Longleftrightarrow \quad y^T v = 0, \ \forall v \in \text{C}(A). y∈LeftNull(A)⟺yTv=0, ∀v∈C(A).

对偶空间详情

V ∗ V^* V∗ 本身是向量空间，向量加法与标量乘法定义为 ( f + g ) ( v ) = f ( v ) + g ( v ) ; ( α f ) ( v ) = α f ( v ) (f+g)(v)=f(v)+g(v);(\alpha f)(v)=\alpha f(v) (f+g)(v)=f(v)+g(v);(αf)(v)=αf(v)
有限维情况下，如果 dim ⁡ V = n \dim V = n dimV=n，则 dim ⁡ V ∗ = n \dim V^* = n dimV∗=n。
对偶基：若 { e 1 , ... , e n } \{e_1, \dots, e_n\} {e1,...,en} 是 V V V 的基，则存在唯一对偶基 { e 1 , ... , e n } ⊂ V ∗ \{e^1, \dots, e^n\} \subset V^* {e1,...,en}⊂V∗ 满足 e i ( e j ) = δ j i e^i(e_j)=\delta^i_j ei(ej)=δji。
任意 f ∈ V ∗ f \in V^* f∈V∗ 可写为 f = ∑ i = 1 n f ( e i ) e i f = \sum_{i=1}^n f(e_i) e^i f=∑i=1nf(ei)ei。
双对偶空间 V ∗ ∗ V^{**} V∗∗ 存在自然嵌入 V ↪ V ∗ ∗ V \hookrightarrow V^{**} V↪V∗∗，定义为 v ^ ( f ) = f ( v ) \hat v(f) = f(v) v^(f)=f(v) 对所有 f ∈ V ∗ f \in V^* f∈V∗。
有限维情况下，向量空间 V V V 与其双对偶 V ∗ ∗ V^{**} V∗∗ 存在自然同构 Φ : V → V ∗ ∗ \Phi: V \to V^{**} Φ:V→V∗∗，定义为 Φ ( v ) ( f ) = f ( v ) \Phi(v)(f) = f(v) Φ(v)(f)=f(v) 对所有 f ∈ V ∗ f \in V^* f∈V∗ 成立；无限维时， V V V 仍可自然嵌入 V ∗ ∗ V^{**} V∗∗，但通常不满射。
对偶映射：若 T : V → W T: V \to W T:V→W 是线性映射，则 T ∗ : W ∗ → V ∗ T^*: W^* \to V^* T∗:W∗→V∗ 定义为 T ∗ ( g ) = g ∘ T T^*(g) = g \circ T T∗(g)=g∘T，且满足 ( S + T ) ∗ = S ∗ + T ∗ (S+T)^* = S^* + T^* (S+T)∗=S∗+T∗， ( S ∘ T ) ∗ = T ∗ ∘ S ∗ (S \circ T)^* = T^* \circ S^* (S∘T)∗=T∗∘S∗， ( i d V ) ∗ = i d V ∗ (\mathrm{id}V)^* = \mathrm{id}{V^*} (idV)∗=idV∗。

列空间在对偶空间中的零化子详情

设 A A A 是一个 m × n m \times n m×n 矩阵， C ( A ) ⊆ R m C(A) \subseteq \mathbb{R}^m C(A)⊆Rm 是 A A A 的列空间：
C ( A ) = span { 列 1 ( A ) , ... , 列 n ( A ) } C(A) = \text{span}\{\text{列}_1(A), \dots, \text{列}n(A)\} C(A)=span{列1(A),...,列n(A)}
C ( A ) = span { A : , j ∣ j = 1 , 2 , ... , n } ⊆ R m C(A) = \text{span}\{ A{:,j} \mid j = 1,2,\dots,n \} \subseteq \mathbb{R}^m C(A)=span{A:,j∣j=1,2,...,n}⊆Rm
对偶空间 ( R m ) ∗ (\mathbb{R}^m)^* (Rm)∗ 中的线性泛函 f f f 可以表示为行向量 y T ∈ R 1 × m y^T \in \mathbb{R}^{1 \times m} yT∈R1×m，作用在列向量 v ∈ R m v \in \mathbb{R}^m v∈Rm 上：
f ( v ) = y T v f(v) = y^T v f(v)=yTv
列空间的零化子定义为：
( C ( A ) ) 0 = { f ∈ ( R m ) ∗ ∣ f ( v ) = 0 , ∀ v ∈ C ( A ) } (C(A))^0 = \{ f \in (\mathbb{R}^m)^* \mid f(v) = 0, \forall v \in C(A) \} (C(A))0={f∈(Rm)∗∣f(v)=0,∀v∈C(A)}
用行向量表示：
( C ( A ) ) 0 = { y T ∈ R 1 × m ∣ y T A = 0 } (C(A))^0 = \{ y^T \in \mathbb{R}^{1 \times m} \mid y^T A = 0 \} (C(A))0={yT∈R1×m∣yTA=0}
直观理解：
1. 零化子中的行向量与列空间正交；
2. 几何上，就是所有垂直于列空间的向量；
3. 求解 y T A = 0 y^T A = 0 yTA=0 就是在找所有与列空间正交的行向量。

列空间详情

假设 A ∈ R m × n A \in \mathbb{R}^{m \times n} A∈Rm×n，则 A A A 可以看作一个线性变换：

A : R n → R m , x ↦ A x A : \mathbb{R}^n \to \mathbb{R}^m,\quad x \mapsto Ax A:Rn→Rm,x↦Ax

输入是 x ∈ R n x \in \mathbb{R}^n x∈Rn
输出是 A x ∈ R m Ax \in \mathbb{R}^m Ax∈Rm

列空间（Column Space）定义为所有可能的输出向量集合：

C ( A ) = { A x : x ∈ R n } ⊆ R m \text{C}(A) = \{ Ax : x \in \mathbb{R}^n \} \subseteq \mathbb{R}^m C(A)={Ax:x∈Rn}⊆Rm

所以可以理解为：

A A A 把 R n \mathbb{R}^n Rn 的向量变换到 R m \mathbb{R}^m Rm
输出向量组成的集合正好是 列空间
换句话说，列空间就是 A A A 的像空间（image）

示例：

如果 A A A 是 3 × 3 3\times 3 3×3 矩阵，把 R 3 \mathbb{R}^3 R3 映射到 R 3 \mathbb{R}^3 R3
如果 rank ( A ) = 3 \text{rank}(A) = 3 rank(A)=3，列空间就是整个 R 3 \mathbb{R}^3 R3
如果 rank ( A ) = 2 \text{rank}(A) = 2 rank(A)=2，列空间是 R 3 \mathbb{R}^3 R3 中的某个平面
如果 rank ( A ) = 1 \text{rank}(A) = 1 rank(A)=1，列空间是一条直线

空间关系

正交关系 ：
R ( A ) ⊥ Null ( A ) , C ( A ) ⊥ LeftNull ( A ) \text{R}(A) \perp \text{Null}(A), \quad \text{C}(A) \perp \text{LeftNull}(A) R(A)⊥Null(A),C(A)⊥LeftNull(A)
维度关系（秩-零定理） ：
dim(R ( A ) ) + dim(Null ( A ) ) = n \text{dim(R}(A)) + \text{dim(Null}(A)) = n dim(R(A))+dim(Null(A))=n
dim(C ( A ) ) + dim(LeftNull ( A ) ) = m \text{dim(C}(A)) + \text{dim(LeftNull}(A)) = m dim(C(A))+dim(LeftNull(A))=m

示例

考虑矩阵：
A = [ 1 2 3 4 5 6 ] ∈ R 2 × 3 A = \begin{bmatrix}1 & 2 & 3 \\ 4 & 5 & 6\end{bmatrix} \in \mathbb{R}^{2\times 3} A=[142536]∈R2×3

1. 行空间

R ( A ) = span { [ 1 , 2 , 3 ] , [ 4 , 5 , 6 ] } ⊆ R 3 , dim = 2 \text{R}(A) = \text{span}\{ [1,2,3], [4,5,6] \} \subseteq \mathbb{R}^3, \quad \text{dim}=2 R(A)=span{[1,2,3],[4,5,6]}⊆R3,dim=2

2. 列空间

C ( A ) = span { [ 1 4 ] , [ 2 5 ] } ⊆ R 2 , dim = 2 \text{C}(A) = \text{span}\left\{ \begin{bmatrix}1\\4\end{bmatrix}, \begin{bmatrix}2\\5\end{bmatrix} \right\} \subseteq \mathbb{R}^2, \quad \text{dim}=2 C(A)=span{[14],[25]}⊆R2,dim=2

3. 零空间

求解 A x = 0 Ax=0 Ax=0：

1 2 3 4 5 6 \] \[ x 1 x 2 x 3 \] = 0 \\begin{bmatrix}1 \& 2 \& 3 \\\\ 4 \& 5 \& 6\\end{bmatrix} \\begin{bmatrix}x_1\\\\x_2\\\\x_3\\end{bmatrix} = 0 \[142536\] x1x2x3 =0 解得： x 1 = x 3 , x 2 = − 2 x 3 x_1 = x_3, \\quad x_2 = -2x_3 x1=x3,x2=−2x3 Null ( A ) = span { \[ 1 , − 2 , 1 \] T } ⊆ R 3 , dim = 1 \\text{Null}(A) = \\text{span}\\{ \[1,-2,1\]\^T \\} \\subseteq \\mathbb{R}\^3, \\quad \\text{dim}=1 Null(A)=span{\[1,−2,1\]T}⊆R3,dim=1 #### 4. 左零空间 C ( A ) ⊆ R 2 已满秩    ⟹    LeftNull ( A ) = { 0 } , dim = 0 \\text{C}(A) \\subseteq \\mathbb{R}\^2 \\text{ 已满秩} \\implies \\text{LeftNull}(A) = \\{0\\}, \\quad \\text{dim}=0 C(A)⊆R2 已满秩⟹LeftNull(A)={0},dim=0 ### 总结 | 空间 | 基 | 所在空间 | 维度 | 正交关系 | |------|--------------------------------------------------------------------------------------------------------------------------------|-----------------------|-------|-----------------| | 行空间 | \[ 1 2 3 \] , \[ 4 5 6 \] \\begin{bmatrix}1 \& 2 \& 3\\end{bmatrix}, \\begin{bmatrix}4 \& 5 \& 6\\end{bmatrix} \[123\],\[456\] | R 3 \\mathbb{R}\^3 R3 | 2 2 2 | ⊥ \\perp ⊥ 零空间 | | 列空间 | \[ 1 4 \] , \[ 2 5 \] \\begin{bmatrix}1\\\\4\\end{bmatrix}, \\begin{bmatrix}2\\\\5\\end{bmatrix} \[14\],\[25\] | R 2 \\mathbb{R}\^2 R2 | 2 2 2 | ⊥ \\perp ⊥ 左零空间 | | 零空间 | \[ 1 − 2 1 \] \\begin{bmatrix}1\\\\-2\\\\1\\end{bmatrix} 1−21 | R 3 \\mathbb{R}\^3 R3 | 1 1 1 | ⊥ \\perp ⊥ 行空间 | | 左零空间 | 0 \\mathbf{0} 0 | R 2 \\mathbb{R}\^2 R2 | 0 0 0 | ⊥ \\perp ⊥ 列空间 | *** ** * ** *** **总结** ： 掌握这五个空间及其关系，可以系统理解矩阵的结构、线性方程组的解、秩-零定理以及最小二乘问题的本质。 四个基本空间提供计算和几何视角，对偶空间则帮助理解正交与零空间的更抽象联系。