【线性代数】【二】2.4 矩阵的零空间

文章目录


前言

本文我们将重点关注 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解集,并说明它构成一个向量空间,即零空间。


一、零空间

在上文中,我们分析了 A x = b \bm{A}\bm{x}=\bm{b} Ax=b的解,那么零向量自然也包括在内。略有特殊的地方在于,零向量属于任何列空间,所以该方程组必然有一个平凡解 x = 0 \bm{x}=\bm{0} x=0。对于列空间维数等于列向量维数的矩阵而言,这个解也就成立唯一解。

现在,我们说明,方程组 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解集,构成一个向量空间,称之为矩阵的零空间,记作 N ( A ) N(\bm{A}) N(A)。由于该解集是向量空间的子集,且包含零向量,因此我们只需要验证其满足加法数乘的封闭性即可:

对于 ∀ x i ∈ N ( A ) , ∀ a i ∈ R \forall \bm{x}_i\in N(A),\forall a_i\in R ∀xi∈N(A),∀ai∈R,只需证 ∑ i a i x i ∈ N ( A ) \sum_ia_i\bm{x}_i\in N(A) ∑iaixi∈N(A)即可。
   ⟺    ∑ i a i x i \iff \sum_ia_i\bm{x}_i ⟺∑iaixi为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
   ⟺    ∑ i a i A x i = ∑ i a i 0 = 0 \iff \sum_ia_i\bm{A}\bm{x}_i= \sum_ia_i\bm{0}=\bm{0} ⟺∑iaiAxi=∑iai0=0

二、零空间的维度

既然零空间也是空间,那么它的维度是多少呢?与矩阵 A \bm{A} A又会有什么关系呢?

首先一个简单的情况,即当矩阵的列空间维数等于列向量维数时,方程组只有唯一的零向量解,此时零空间只有一个零向量,维度为0。

然后我们考虑矩阵列空间维数小于列向量维数时,以如下矩阵为例:

A = ( 1 0 1 0 1 1 0 0 0 ) \mathbf{A} = \left( \begin{array}{ccc} 1 & 0 &1\\ 0&1&1\\ 0&0&0\\ \end{array} \right) A= 100010110

类似于本系列笔记2.3中的操作,我们容易得到得到 x = [ − k , − k , k ] \bm{x}=[-k,-k,k] x=[−k,−k,k]对任意取值的 k k k都是该方程的解。而该解集可以看成是由向量 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]张成的一维向量空间。那么该矩阵零空间的维度至少为1。那还能找到其他与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关的解吗?

我们假设存在 x ′ = [ x 1 , x 2 , x 3 ] \bm{x}'=[x_1,x_2,x_3] x′=[x1,x2,x3]为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解且与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关。那么就有 A x ′ = 0 \bm{A}\bm{x}'=\bm{0} Ax′=0,即

x 1 + x 3 = 0 , x 2 + x 3 = 0 x_1+x_3=0,x_2+x_3=0 x1+x3=0,x2+x3=0

于是有 x 1 = − x 3 , x 2 = − x 3 x_1=-x_3,x_2=-x_3 x1=−x3,x2=−x3
x ′ = [ − x 3 , − x 3 , x 3 ] = x 3 [ − 1 , − 1 , 1 ] \bm{x}'=[-x_3,-x_3,x_3]=x_3[-1,-1,1] x′=[−x3,−x3,x3]=x3[−1,−1,1]

因此,可见已经不存在其他与 [ − 1 , − 1 , 1 ] [-1,-1,1] [−1,−1,1]线性无关的解了,那么该矩阵的零空间 N ( A ) N(\bm{A}) N(A)就是一个维度为1的向量空间。

三、列空间与零空间的维度

在上述例子中,我们知道列空间的维度是2,零空间的维度是1,加起来正好是矩阵的列数。这是巧合,还是有其原因呢?

我们知道,矩阵的列空间的维数等于矩阵列向量组的极大线性无关组的向量个数(称之为列秩),也就是说,列数减去列秩就是列向量中可以被该极大线性无关组线性表示的向量,即某种意义上来说对张成列空间"多余"的向量。然而,由于这些多余的向量可以被极大线性无关组线性表示,那么我们就可以赋予多余向量一个系数k,然后对他们的线性表示系数乘上-k,如此求和得到的便是零向量。如上述例子中,我们就能构造出[-k,-k,k]这个解。

其实,多余向量的个数,即列数与列秩之差,就是零空间的维度。下面我们来证明一下这个结论:

设矩阵 A \bm{A} A的列秩序为 n n n,列数为 m m m。

当 n = m n=m n=m时,零空间只有零向量,原命题成立。
下证当 n < m n<m n<m时,原命题成立。

我们必然可以找到矩阵 A \bm{A} A的一个数量为 n n n的极大线性无关组,不妨记为 B = { a 1 , a 2 , ... , a n } {\cal B}=\{\bm{a_1},\bm{a_2},\ldots,\bm{a}_n\} B={a1,a2,...,an}。

则对 ∀ a i ∉ B \forall \bm{a}_i \notin {\cal B} ∀ai∈/B,我们均可以找到一组线性表示系数 c i 1 , c i 2 , ... , c i n c_i^1,c_i^2,\ldots,c_i^n ci1,ci2,...,cin使得 a i = c i 1 a 1 , + c i 2 a 2 + ... + c i n a n \bm{a}_i=c_i^1\bm{a_1},+c_i^2\bm{a_2}+\ldots+c_i^n\bm{a}_n ai=ci1a1,+ci2a2+...+cinan
因此,我们可以构造解向量 x i = [ c 1 , c 2 , ... , c n , 0 , 0 , ... , − 1 , ... ] \bm{x}_i=[c_1,c_2,\ldots,c_n,0,0,\ldots,-1,\ldots] xi=[c1,c2,...,cn,0,0,...,−1,...],其中仅与 a i \bm{a}_i ai所在列数相同位置处为-1,其余 m − n − 1 m-n-1 m−n−1项皆为0。

从而,我们有 A x i = c i 1 a 1 , + c i 2 a 2 + ... + c i n a n − a i = 0 \bm{A}\bm{x}_i=c_i^1\bm{a_1},+c_i^2\bm{a_2}+\ldots+c_i^n\bm{a}_n-\bm{a}_i=\bm{0} Axi=ci1a1,+ci2a2+...+cinan−ai=0,即 x i \bm{x}_i xi为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
类似的,我们对 m − n m-n m−n个不属于 B \cal B B的向量分别构造对应的解 x i \bm{x}_i xi,显然这 m − n m-n m−n个向量构成一个线性无关向量组 (仅看后 m − n m-n m−n个元素已经线性无关了)。因此,由这些向量可以张成一个维度为 m − n m-n m−n的向量空间,该向量空间中任意一个向量均为 A x = 0 \bm{A}\bm{x}=\bm{0} Ax=0的解。
下面说明不存在解 y \bm{y} y不属于该空间,从而证明该空间即为矩阵 A \bm{A} A的零空间

假设存在 y \bm{y} y与 x i \bm{x}_i xi线性无关,且满足 A y = 0 \bm{A}\bm{y}=\bm{0} Ay=0

由上述构造过程可知,可以找到一组线性组合系数,使得 y ∗ = y − ∑ i d i x i \bm{y}^*=\bm{y}-\sum_id_i\bm{x}_i y∗=y−∑idixi,使得 y ∗ \bm{y}^* y∗的后 m − n m-n m−n个元素均为0。
∴ A y ∗ = A y − ∑ i d i A x i = 0 − 0 = 0 \therefore \bm{A}\bm{y}^*=\bm{A}\bm{y}-\sum_id_i\bm{A}\bm{x}_i=\bm{0}-\bm{0}=\bm{0} ∴Ay∗=Ay−∑idiAxi=0−0=0

即 y 1 a 1 + y 2 a 2 + ... + y n a n + y n + 1 a n + 1 + ... = 0 y_1\bm{a_1}+y_2\bm{a_2}+\ldots+y_n\bm{a}n+y{n+1}\bm{a}{n+1}+\ldots=\bm{0} y1a1+y2a2+...+ynan+yn+1an+1+...=0
∵ y n + 1 , y n + 2 ... y m \because y
{n+1},y_{n+2}\ldots y_m ∵yn+1,yn+2...ym均为0
   ⟺    y 1 a 1 + y 2 a 2 + ... + y n a n = 0 \iff y_1\bm{a_1}+y_2\bm{a_2}+\ldots+y_n\bm{a}_n=\bm{0} ⟺y1a1+y2a2+...+ynan=0

又 ∵ { a 1 , a 2 , ... , a n } \because\{\bm{a_1},\bm{a_2},\ldots,\bm{a}_n\} ∵{a1,a2,...,an}是一组线性无关的向量
∴ y 1 , y 2 , ... y n \therefore y_1,y_2,\ldots y_n ∴y1,y2,...yn均为0$
∴ y ∗ = 0 \therefore\bm{y}^*=\bm{0} ∴y∗=0, y \bm{y} y与所构造的一组解向量 x i \bm{x}_i xi线性相关,因此原命题得证。

这个结论其实是比较好记的,列秩对应了矩阵列空间的维度,列数减去列秩就是"多余"向量的个数,也就对应了在线性组合得到零向量时,线性组合系数的自由度的多少,从而对应零空间(解空间)的维度。


总结

本文介绍了矩阵的零空间概念,并且对矩阵的列空间与零空间的维数进行了深入探究,得到了列数-列秩序=零空间维度的重要结论。

相关推荐
开MINI的工科男21 分钟前
深蓝学院-- 量产自动驾驶中的规划控制算法 小鹏
人工智能·机器学习·自动驾驶
AI大模型知识分享1 小时前
Prompt最佳实践|如何用参考文本让ChatGPT答案更精准?
人工智能·深度学习·机器学习·chatgpt·prompt·gpt-3
小言从不摸鱼3 小时前
【AI大模型】ChatGPT模型原理介绍(下)
人工智能·python·深度学习·机器学习·自然语言处理·chatgpt
Lossya8 小时前
【机器学习】参数学习的基本概念以及贝叶斯网络的参数学习和马尔可夫随机场的参数学习
人工智能·学习·机器学习·贝叶斯网络·马尔科夫随机场·参数学习
Trouvaille ~8 小时前
【Python篇】深度探索NumPy(下篇):从科学计算到机器学习的高效实战技巧
图像处理·python·机器学习·numpy·信号处理·时间序列分析·科学计算
q567315239 小时前
如何在Django中创建新的模型实例
数据库·python·线性代数·django·sqlite
qq_5503379911 小时前
研1日记14
人工智能·深度学习·机器学习
i嗑盐の小F11 小时前
【IEEE&ACM Fellow、CCF组委】第三届人工智能与智能信息处理国际学术会议(AIIIP 2024)
人工智能·深度学习·算法·机器学习·自然语言处理·信号处理
jianglq12 小时前
C++高性能线性代数库Armadillo入门
c++·线性代数
大耳朵爱学习13 小时前
大模型预训练的降本增效之路——从信息密度出发
人工智能·深度学习·机器学习·自然语言处理·大模型·llm·大语言模型