【线性代数】【二】2.4 矩阵的零空间

文章目录


前言

本文我们将重点关注 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解集,并说明它构成一个向量空间,即零空间。


一、零空间

在上文中,我们分析了 A x = b \bm{A}\bm{x}=\bm{b} Ax=b的解,那么零向量自然也包括在内。略有特殊的地方在于,零向量属于任何列空间,所以该方程组必然有一个平凡解 x = 0 \bm{x}=\bm{0} x=0。对于列空间维数等于列向量维数的矩阵而言,这个解也就成立唯一解。

现在,我们说明,方程组 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解集,构成一个向量空间,称之为矩阵的零空间,记作 N ( A ) N(\bm{A}) N(A)。由于该解集是向量空间的子集,且包含零向量,因此我们只需要验证其满足加法数乘的封闭性即可:

对于 ∀ x i ∈ N ( A ) , ∀ a i ∈ R \forall \bm{x}_i\in N(A),\forall a_i\in R ∀xi∈N(A),∀ai∈R,只需证 ∑ i a i x i ∈ N ( A ) \sum_ia_i\bm{x}_i\in N(A) ∑iaixi∈N(A)即可。
   ⟺    ∑ i a i x i \iff \sum_ia_i\bm{x}_i ⟺∑iaixi为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
   ⟺    ∑ i a i A x i = ∑ i a i 0 = 0 \iff \sum_ia_i\bm{A}\bm{x}_i= \sum_ia_i\bm{0}=\bm{0} ⟺∑iaiAxi=∑iai0=0

二、零空间的维度

既然零空间也是空间,那么它的维度是多少呢?与矩阵 A \bm{A} A又会有什么关系呢?

首先一个简单的情况,即当矩阵的列空间维数等于列向量维数时,方程组只有唯一的零向量解,此时零空间只有一个零向量,维度为0。

然后我们考虑矩阵列空间维数小于列向量维数时,以如下矩阵为例:

A = ( 1 0 1 0 1 1 0 0 0 ) \mathbf{A} = \left( \begin{array}{ccc} 1 & 0 &1\\ 0&1&1\\ 0&0&0\\ \end{array} \right) A= 100010110

类似于本系列笔记2.3中的操作,我们容易得到得到 x = [ − k , − k , k ] \bm{x}=[-k,-k,k] x=[−k,−k,k]对任意取值的 k k k都是该方程的解。而该解集可以看成是由向量 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]张成的一维向量空间。那么该矩阵零空间的维度至少为1。那还能找到其他与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关的解吗?

我们假设存在 x ′ = [ x 1 , x 2 , x 3 ] \bm{x}'=[x_1,x_2,x_3] x′=[x1,x2,x3]为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解且与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关。那么就有 A x ′ = 0 \bm{A}\bm{x}'=\bm{0} Ax′=0,即

x 1 + x 3 = 0 , x 2 + x 3 = 0 x_1+x_3=0,x_2+x_3=0 x1+x3=0,x2+x3=0

于是有 x 1 = − x 3 , x 2 = − x 3 x_1=-x_3,x_2=-x_3 x1=−x3,x2=−x3
x ′ = [ − x 3 , − x 3 , x 3 ] = x 3 [ − 1 , − 1 , 1 ] \bm{x}'=[-x_3,-x_3,x_3]=x_3[-1,-1,1] x′=[−x3,−x3,x3]=x3[−1,−1,1]

因此,可见已经不存在其他与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关的解了,那么该矩阵的零空间 N ( A ) N(\bm{A}) N(A)就是一个维度为1的向量空间。

三、列空间与零空间的维度

在上述例子中,我们知道列空间的维度是2,零空间的维度是1,加起来正好是矩阵的列数。这是巧合,还是有其原因呢?

我们知道,矩阵的列空间的维数等于矩阵列向量组的极大线性无关组的向量个数(称之为列秩),也就是说,列数减去列秩就是列向量中可以被该极大线性无关组线性表示的向量,即某种意义上来说对张成列空间"多余"的向量。然而,由于这些多余的向量可以被极大线性无关组线性表示,那么我们就可以赋予多余向量一个系数k,然后对他们的线性表示系数乘上-k,如此求和得到的便是零向量。如上述例子中,我们就能构造出[-k,-k,k]这个解。

其实,多余向量的个数,即列数与列秩之差,就是零空间的维度。下面我们来证明一下这个结论:

设矩阵 A \bm{A} A的列秩序为 n n n,列数为 m m m。

当 n = m n=m n=m时,零空间只有零向量,原命题成立。
下证当 n < m n<m n<m时,原命题成立。

我们必然可以找到矩阵 A \bm{A} A的一个数量为 n n n的极大线性无关组,不妨记为 B = { a 1 , a 2 , ... , a n } {\cal B}=\{\bm{a_1},\bm{a_2},\ldots,\bm{a}_n\} B={a1,a2,...,an}。

则对 ∀ a i ∉ B \forall \bm{a}_i \notin {\cal B} ∀ai∈/B,我们均可以找到一组线性表示系数 c i 1 , c i 2 , ... , c i n c_i^1,c_i^2,\ldots,c_i^n ci1,ci2,...,cin使得 a i = c i 1 a 1 , + c i 2 a 2 + ... + c i n a n \bm{a}_i=c_i^1\bm{a_1},+c_i^2\bm{a_2}+\ldots+c_i^n\bm{a}_n ai=ci1a1,+ci2a2+...+cinan
因此,我们可以构造解向量 x i = [ c 1 , c 2 , ... , c n , 0 , 0 , ... , − 1 , ... ] \bm{x}_i=[c_1,c_2,\ldots,c_n,0,0,\ldots,-1,\ldots] xi=[c1,c2,...,cn,0,0,...,−1,...],其中仅与 a i \bm{a}_i ai所在列数相同位置处为-1,其余 m − n − 1 m-n-1 m−n−1项皆为0。

从而,我们有 A x i = c i 1 a 1 , + c i 2 a 2 + ... + c i n a n − a i = 0 \bm{A}\bm{x}_i=c_i^1\bm{a_1},+c_i^2\bm{a_2}+\ldots+c_i^n\bm{a}_n-\bm{a}_i=\bm{0} Axi=ci1a1,+ci2a2+...+cinan−ai=0,即 x i \bm{x}_i xi为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
类似的,我们对 m − n m-n m−n个不属于 B \cal B B的向量分别构造对应的解 x i \bm{x}_i xi,显然这 m − n m-n m−n个向量构成一个线性无关向量组 (仅看后 m − n m-n m−n个元素已经线性无关了)。因此,由这些向量可以张成一个维度为 m − n m-n m−n的向量空间,该向量空间中任意一个向量均为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
下面说明不存在解 y \bm{y} y不属于该空间,从而证明该空间即为矩阵 A \bm{A} A的零空间

假设存在 y \bm{y} y与 x i \bm{x}_i xi线性无关,且满足 A y = 0 \bm{A}\bm{y}=\bm{0} Ay=0

由上述构造过程可知,可以找到一组线性组合系数,使得 y ∗ = y − ∑ i d i x i \bm{y}^*=\bm{y}-\sum_id_i\bm{x}_i y∗=y−∑idixi,使得 y ∗ \bm{y}^* y∗的后 m − n m-n m−n个元素均为0。
∴ A y ∗ = A y − ∑ i d i A x i = 0 − 0 = 0 \therefore \bm{A}\bm{y}^*=\bm{A}\bm{y}-\sum_id_i\bm{A}\bm{x}_i=\bm{0}-\bm{0}=\bm{0} ∴Ay∗=Ay−∑idiAxi=0−0=0

即 y 1 a 1 + y 2 a 2 + ... + y n a n + y n + 1 a n + 1 + ... = 0 y_1\bm{a_1}+y_2\bm{a_2}+\ldots+y_n\bm{a}n+y{n+1}\bm{a}{n+1}+\ldots=\bm{0} y1a1+y2a2+...+ynan+yn+1an+1+...=0
∵ y n + 1 , y n + 2 ... y m \because y
{n+1},y_{n+2}\ldots y_m ∵yn+1,yn+2...ym均为0
   ⟺    y 1 a 1 + y 2 a 2 + ... + y n a n = 0 \iff y_1\bm{a_1}+y_2\bm{a_2}+\ldots+y_n\bm{a}_n=\bm{0} ⟺y1a1+y2a2+...+ynan=0

又 ∵ { a 1 , a 2 , ... , a n } \because\{\bm{a_1},\bm{a_2},\ldots,\bm{a}_n\} ∵{a1,a2,...,an}是一组线性无关的向量
∴ y 1 , y 2 , ... y n \therefore y_1,y_2,\ldots y_n ∴y1,y2,...yn均为0$
∴ y ∗ = 0 \therefore\bm{y}^*=\bm{0} ∴y∗=0, y \bm{y} y与所构造的一组解向量 x i \bm{x}_i xi线性相关,因此原命题得证。

这个结论其实是比较好记的,列秩对应了矩阵列空间的维度,列数减去列秩就是"多余"向量的个数,也就对应了在线性组合得到零向量时,线性组合系数的自由度的多少,从而对应零空间(解空间)的维度。


总结

本文介绍了矩阵的零空间概念,并且对矩阵的列空间与零空间的维数进行了深入探究,得到了列数-列秩序=零空间维度的重要结论。

相关推荐
qq_529025292 小时前
Torch.gather
python·深度学习·机器学习
IT古董2 小时前
【漫话机器学习系列】017.大O算法(Big-O Notation)
人工智能·机器学习
海棠AI实验室3 小时前
AI的进阶之路:从机器学习到深度学习的演变(三)
人工智能·深度学习·机器学习
古希腊掌管学习的神4 小时前
[搜广推]王树森推荐系统——矩阵补充&最近邻查找
python·算法·机器学习·矩阵
martian6654 小时前
【人工智能数学基础篇】——深入详解多变量微积分:在机器学习模型中优化损失函数时应用
人工智能·机器学习·微积分·数学基础
人机与认知实验室5 小时前
人、机、环境中各有其神经网络系统
人工智能·深度学习·神经网络·机器学习
古希腊掌管学习的神9 小时前
[机器学习]XGBoost(3)——确定树的结构
人工智能·机器学习
海棠AI实验室11 小时前
AI的进阶之路:从机器学习到深度学习的演变(一)
人工智能·深度学习·机器学习