1.3 矩阵

一、向量与矩阵

下面是三个向量 u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w： u = [      1 − 1      0 ] v = [      0      1 − 1 ] w = [ 0 0 1 ] \boldsymbol u=\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}\kern 10pt\boldsymbol v=\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}\kern 10pt\boldsymbol w=\begin{bmatrix}0\\0\\1\end{bmatrix} u= 1−10 v= 01−1 w= 001 它们在三维空间中的线性组合是 x 1 u + x 2 v + x 3 w x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w x1u+x2v+x3w： 向量的线性组合 ： x 1 [      1 − 1      0 ] + x 2 [      0      1 − 1 ] + x 3 [ 0 0 1 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] ( 1.3.1 ) \textbf{向量的线性组合}：\kern 5ptx_1\begin{bmatrix}\,\,\,\,1\\-1\\\,\,\,\,0\end{bmatrix}+x_2\begin{bmatrix}\,\,\,\,0\\\,\,\,\,1\\-1\end{bmatrix}+x_3\begin{bmatrix}0\\0\\1\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 12pt(1.3.1) 向量的线性组合：x1 1−10 +x2 01−1 +x3 001 = x1x2−x1x3−x2 (1.3.1)现在利用矩阵改写式（1.3.1）， u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w 变成矩阵 A A A 的列，得到一个矩阵 A A A 乘向量 ( x 1 , x 2 , x 3 ) (x_1,x_2,x_3) (x1,x2,x3)：

矩阵乘向量，列的组合 ： A x = [      1      0 0 − 1 1 0      0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] ( 1.3.2 ) \textbf{矩阵乘向量，列的组合}：\kern 5ptA\boldsymbol x=\begin{bmatrix}\,\,\,\,1&\,\,\,\,0&0\\-1&\kern 7pt1&0\\\,\,\,\,0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}\kern 20pt(1.3.2) 矩阵乘向量，列的组合：Ax= 1−1001−1001 x1x2x3 = x1x2−x1x3−x2 (1.3.2)

x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3 是向量 x \boldsymbol x x 的分量，矩阵 A A A 乘向量 x \boldsymbol x x 与式（1.3.1）三个列的线性组合等价。

这里的改写可以让我们从不同的视角来观察，一开始是三个数字 x 1 x_1 x1， x 2 x_2 x2， x 3 x_3 x3 乘向量，现在是矩阵乘这三个数字。矩阵 A A A 作用于向量 x \boldsymbol x x，输出的 A x A\boldsymbol x Ax 是矩阵 A \pmb A A 列的组合 b \boldsymbol b b。

为方便观察，将 A x A\boldsymbol x Ax 的分量记为 b 1 b_1 b1， b 2 b_2 b2， b 3 b_3 b3： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 x 2 − x 1 x 3 − x 2 ] = [ b 1 b 2 b 3 ] = b ( 1.3.3 ) A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 23pt\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.3) Ax= 1−1001−1001 x1x2x3 = x1x2−x1x3−x2 = b1b2b3 =b(1.3.3)输入是 x \boldsymbol x x，输出是 b = A x \boldsymbol b=A\boldsymbol x b=Ax。这里 A A A 是一个差分矩阵（difference matrix），因为 b \boldsymbol b b 包含了输入 x \boldsymbol x x 的差。最上面的差是 x 1 − x 0 = x 1 − 0 x_1-x_0=x_1-0 x1−x0=x1−0。

当 x = ( 1 , 4 , 9 ) \boldsymbol x=(1,4,9) x=(1,4,9) 时： x \boldsymbol x x 中是平方数， b \boldsymbol b b 中是奇数： x = [ 1 4 9 ] = 平方数 A x = [ 1 − 0 4 − 1 9 − 4 ] = [ 1 3 5 ] = b ( 1.3.4 ) \boldsymbol x=\begin{bmatrix}1\\4\\9\end{bmatrix}=平方数\kern 10ptA\boldsymbol x=\begin{bmatrix}1-0\\4-1\\9-4\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}=\boldsymbol b\kern 20pt(1.3.4) x= 149 =平方数Ax= 1−04−19−4 = 135 =b(1.3.4)这里可以扩展到 4 × 4 4\times4 4×4 的矩阵，下一个平方数 x 4 = 16 x_4=16 x4=16，下一个差是 x 4 − x 3 = 16 − 9 = 7 x_4-x_3=16-9=7 x4−x3=16−9=7（下个奇数）。这个矩阵可以一次性将所有的差 1 1 1、 3 3 3、 5 5 5、 7 7 7 都计算出来。
重要注解： 每次乘一行 。矩阵与向量的乘法，可以用另一种方式来解释，即使用行而不是列。 A x A\boldsymbol x Ax 也是行的点积：

矩阵乘向量，行的点积 ： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ ( 1 , 0 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( − 1 , 1 , 0 ) ⋅ ( x 1 , x 2 , x 3 ) ( 0 , − 1 , 1 ) ⋅ ( x 1 , x 2 , x 3 ) ] ( 1.3.5 ) \textbf{矩阵乘向量，行的点积}：A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}\kern 7pt(1,0,0)\cdot(x_1,x_2,x_3)\\(-1,1,0)\cdot(x_1,x_2,x_3)\\(0,-1,1)\cdot(x_1,x_2,x_3)\end{bmatrix}\kern 15pt(1.3.5) 矩阵乘向量，行的点积：Ax= 1−1001−1001 x1x2x3 = (1,0,0)⋅(x1,x2,x3)(−1,1,0)⋅(x1,x2,x3)(0,−1,1)⋅(x1,x2,x3) (1.3.5)

二、线性方程组

以前的问题是数字 x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3 已知，求 b \boldsymbol b b；现在的问题是 b \boldsymbol b b 已知，求出 x \boldsymbol x x。

老问题：计算线性组合 x 1 u + x 2 v + x 3 w x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w x1u+x2v+x3w 求出 b \boldsymbol b b。

新问题： u \boldsymbol u u、 v \boldsymbol v v、 w \boldsymbol w w 什么样的线性组合可以得到特定的向量 b \boldsymbol b b ？

这两个问题是相反的。新问题是求解输入 x \boldsymbol x x 以便得到输出 b = A x \boldsymbol b=A\boldsymbol x b=Ax。这是 x 1 x_1 x1、 x 2 x_2 x2、 x 3 x_3 x3 的线性方程组，方程右侧是 b 1 b_1 b1、 b 2 b_2 b2、 b 3 b_3 b3，现在要求解 A x = b A\boldsymbol x=\boldsymbol b Ax=b 找到 x 1 x_1 x1， x 2 x_2 x2， x 3 x_3 x3：

方程   A x = b x 1 = b 1 − x 1 + x 2 = b 2 − x 2 + x 3 = b 3 解   x = A − 1 b x 1 = b 1 x 2 = b 1 + b 2 x 3 = b 1 + b 2 + b 3 ( 1.3.6 ) 方程\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{matrix}\kern 7ptx_1\kern 3pt\kern 20pt=b_1\\-x_1+x_2=b_2\\-x_2+x_3=b_3\end{matrix}\kern 10pt解\,\boldsymbol x=A^{-1}\boldsymbol b\kern 10pt\begin{matrix}x_1=b_1\kern 43pt\\x_2=b_1+b_2\kern 21pt\\x_3=b_1+b_2+b_3\end{matrix}\kern 12pt(1.3.6) 方程Ax=bx1=b1−x1+x2=b2−x2+x3=b3解x=A−1bx1=b1x2=b1+b2x3=b1+b2+b3(1.3.6)

大部分线性系统并不容易求解。但是该例中，第一个方程求出 x 1 = b 1 x_1=b_1 x1=b1，第二个方程求出 x 2 = b 1 + b 2 x_2=b_1+b_2 x2=b1+b2，第三个方程求出 x 3 = b 1 + b 2 + b 3 x_3=b_1+b_2+b_3 x3=b1+b2+b3。因为 A A A 是三角矩阵，这些方程可以有序的求出解（从顶部到底部）。

下面是两个具体的例子： b = [ 0 0 0 ] 得   x = [ 0 0 0 ] , b = [ 1 3 5 ] 得   x = [ 1 1 + 3 1 + 3 + 5 ] = [ 1 4 9 ] \boldsymbol b=\begin{bmatrix}0\\0\\0\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}0\\0\\0\end{bmatrix},\kern 5pt\boldsymbol b=\begin{bmatrix}1\\3\\5\end{bmatrix}得\,\boldsymbol x=\begin{bmatrix}1\kern 36pt\\1+3\kern 18pt\\1+3+5\end{bmatrix}=\begin{bmatrix}1\\4\\9\end{bmatrix} b= 000 得x= 000 ,b= 135 得x= 11+31+3+5 = 149 第一个解全都是 0 0 0 的例子是很重要。用语言来描述就是：如果输出 b = 0 \boldsymbol b=\boldsymbol 0 b=0，则必有输入 x = 0 \boldsymbol x=\boldsymbol 0 x=0。对于这个矩阵 A A A 是成立的，但并不是对所有的矩阵都成立。

矩阵 A A A 是可逆的，从 b \boldsymbol b b 可以反推得到 x \boldsymbol x x，记作 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。

三、逆矩阵

式（1.3.6）中的 A − 1 A^{-1} A−1 是一个求和矩阵： 求解   A x = b [ x 1 x 2 x 3 ] = [ b 1 b 1 + b 2 b 1 + b 2 + b 3 ] = [ 1 0 0 1 1 0 1 1 1 ] [ b 1 b 2 b 3 ] ( 1.3.7 ) 求解\,A\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}b_1\kern 43pt\\b_1+b_2\kern 22pt\\b_1+b_2+b_3\end{bmatrix}=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 15pt(1.3.7) 求解Ax=b x1x2x3 = b1b1+b2b1+b2+b3 = 111011001 b1b2b3 (1.3.7)如果 x \boldsymbol x x 之间的差是 b \boldsymbol b b，那么 b \boldsymbol b b 之间的和就是 x \boldsymbol x x。方程式（1.3.7）的求和矩阵就是差分矩阵 A A A 的逆矩阵 A − 1 A^{-1} A−1。

例： x = ( 1 , 2 , 3 ) \boldsymbol x=(1,2,3) x=(1,2,3) 的差是 b = ( 1 , 1 , 1 ) \boldsymbol b=(1,1,1) b=(1,1,1)，所以 b = A x \boldsymbol b=A\boldsymbol x b=Ax， x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b： A x = [ 1 0 0 − 1 1 0 0 − 1 1 ] [ 1 2 3 ] = [ 1 1 1 ] A − 1 b = [ 1 0 0 1 1 0 1 1 1 ] [ 1 1 1 ] = [ 1 2 3 ] A\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt0&-1&1\end{bmatrix}\begin{bmatrix}1\\2\\3\end{bmatrix}=\begin{bmatrix}1\\1\\1\end{bmatrix}\kern 10ptA^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\1&1&1\end{bmatrix}\begin{bmatrix}1\\1\\1\end{bmatrix}=\begin{bmatrix}1\\2\\3\end{bmatrix} Ax= 1−1001−1001 123 = 111 A−1b= 111011001 111 = 123 从方程（1.3.7）的解 x = ( x 1 , x 2 , x 3 ) \boldsymbol x=(x_1,x_2,x_3) x=(x1,x2,x3) 可以得到两个结论：

1. 对于每一个 b \boldsymbol b b，都存在一个 A x = b A\boldsymbol x=\boldsymbol b Ax=b 的解；
2. 矩阵 A − 1 A^{-1} A−1 可以得到解 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。

微积分注解：将这些特殊的矩阵同微积分联系起来，向量 x \boldsymbol x x 对应函数 x ( t ) x(t) x(t)，差分 A x A\boldsymbol x Ax 对应导数 d x / d t = b ( t ) \textrm dx/\textrm dt=b(t) dx/dt=b(t)，和 A − 1 b A^{-1}\boldsymbol b A−1b 就对应 b ( t ) b(t) b(t) 的积分。差的和就像导数的积分 。

从微积分的基础定理我们知道：导数和积分互为逆运算 。 A x = b   与   x = A − 1 b d x d t = b ( t )   与   x ( t ) = ∫ 0 t b ( t )   d t ( 1.3.8 ) A\boldsymbol x=\boldsymbol b\,与\,\boldsymbol x=A^{-1}\boldsymbol b\kern 15pt\frac{\textrm dx}{\textrm dt}=b(t)\,与\,x(t)=\int_0^tb(t)\,\textrm dt\kern 15pt(1.3.8) Ax=b与x=A−1bdtdx=b(t)与x(t)=∫0tb(t)dt(1.3.8)平方数 0 0 0， 1 1 1， 4 4 4， 9 9 9 的差分是奇数 1 1 1， 3 3 3， 5 5 5， 7 7 7， x ( t ) = t 2 x(t)=t^2 x(t)=t2 的导数是 2 t 2t 2t，当 t = 1 , 2 , 3 t=1,2,3 t=1,2,3 时得到偶数 b = 2 , 4 , 6 b=2,4,6 b=2,4,6。但是差分和导数不同，这里矩阵 A A A 得到的不是 2 t 2t 2t，而是 2 t − 1 2t-1 2t−1：反向差分（backward difference） x ( t ) − x ( t − 1 ) = t 2 − ( t − 1 ) 2 = t 2 − ( t 2 − 2 t + 1 ) = 2 t − 1 ( 1.3.9 ) x(t)-x(t-1)=t^2-(t-1)^2=t^2-(t^2-2t+1)=2t-1\kern 10pt(1.3.9) x(t)−x(t−1)=t2−(t−1)2=t2−(t2−2t+1)=2t−1(1.3.9)前向差分（forward difference）会得到 2 t + 1 2t+1 2t+1。中心差分（centered difference）是 Δ x / Δ t \Delta x/\Delta t Δx/Δt，其中 Δ x = x ( t + 1 ) − x ( t − 1 ) \Delta x=x(t+1)-x(t-1) Δx=x(t+1)−x(t−1)， Δ t = ( t + 1 ) − ( t − 1 ) = 2 \Delta t=(t+1)-(t-1)=2 Δt=(t+1)−(t−1)=2： x ( t ) = t 2   的中心差分 ( t + 1 ) 2 − ( t − 1 ) 2 2 = 2 t ( 1.3.10 ) x(t)=t^2\,的中心差分\kern 15pt\frac{(t+1)^2-(t-1)^2}{2}=2t\kern 15pt(1.3.10) x(t)=t2的中心差分2(t+1)2−(t−1)2=2t(1.3.10)

四、循环差分

循环差分（cyclic difference）是不可逆的，这里同上个例子有三个向量， u \boldsymbol u u 和 v \boldsymbol v v 不变，将 w \boldsymbol w w 改成 w ∗ \boldsymbol w^* w∗： u = [ 1 − 1 0 ] v = [ 0 1 − 1 ] w ∗ = [ − 1 0 1 ] \boldsymbol u=\begin{bmatrix}\kern 7pt1\\-1\\\kern 7pt0\end{bmatrix}\kern 5pt\boldsymbol v=\begin{bmatrix}\kern 7pt0\\\kern 7pt1\\-1\end{bmatrix}\kern 5pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix} u= 1−10 v= 01−1 w∗= −101 现在 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 的线性组合将得到循环差分矩阵 C C C：

循环差分 C x = [ 1 0 − 1 − 1 1 0 0 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = b ( 1.3.11 ) \textbf{循环差分}\kern 15ptC\boldsymbol x=\begin{bmatrix}\kern 7pt1&\kern 7pt0&-1\\-1&\kern 7pt1&\kern 7pt0\\\kern 7pt0&-1&\kern 7pt1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\boldsymbol b\kern 15pt(1.3.11) 循环差分Cx= 1−1001−1−101 x1x2x3 = x1−x3x2−x1x3−x2 =b(1.3.11)

C C C 不是一个三角矩阵。当给定 b \boldsymbol b b 时， C x = b C\boldsymbol x=\boldsymbol b Cx=b 要么有无穷多个解 ，要么无解 ： C x = 0   有无穷多个解   x [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = [ 0 0 0 ] 的解是所有向量 [ x 1 x 2 x 3 ] = [ c c c ] ( 1.3.12 ) C\boldsymbol x=\boldsymbol 0\,有无穷多个解\,\boldsymbol x\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}0\\0\\0\end{bmatrix} 的解是所有向量\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}c\\c\\c\end{bmatrix}\kern 10pt(1.3.12) Cx=0有无穷多个解x x1−x3x2−x1x3−x2 = 000 的解是所有向量 x1x2x3 = ccc (1.3.12)每一个常数 c c c 都满足，例如 x = ( 3 , 3 , 3 ) \boldsymbol x=(3,3,3) x=(3,3,3) 的循环差都是 0 0 0。任意常数 c c c 就像不定积分时所加的任意常数 + C +C +C。
C x = b C\boldsymbol x=\boldsymbol b Cx=b 更大的可能是 x \boldsymbol x x 无解 ： C x = b [ x 1 − x 3 x 2 − x 1 x 3 − x 2 ] = [ 1 3 5 ] 左侧相加等于 0 右侧相加等于 9 x 1 , x 2 , x 3 无解 ( 1.3.13 ) C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}x_1-x_3\\x_2-x_1\\x_3-x_2\end{bmatrix}=\begin{bmatrix}1\\3\\5\end{bmatrix}\kern 10pt\begin{matrix}左侧相加等于0\\右侧相加等于9\\x_1,x_2,x_3无解\end{matrix}\kern 10pt(1.3.13) Cx=b x1−x3x2−x1x3−x2 = 135 左侧相加等于0右侧相加等于9x1,x2,x3无解(1.3.13)从几何角度来看，不存在 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 的线性组合可以得到向量 b = ( 1 , 3 , 5 ) \boldsymbol b=(1,3,5) b=(1,3,5)，它们的线性组合无法形成全部的三维空间。右侧的向量必须满足 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1+b2+b3=0 才能保证 C x = b C\boldsymbol x=\boldsymbol b Cx=b 有解，因为左侧的 ( x 1 − x 3 ) + ( x 2 − x 1 ) + ( x 3 − x 2 ) = 0 (x_1-x_3)+(x_2-x_1)+(x_3-x_2)=0 (x1−x3)+(x2−x1)+(x3−x2)=0。换句话说：
所有的线性组合 x 1 u + x 2 v + x 3 w ∗ x_1\boldsymbol u+x_2\boldsymbol v+x_3\boldsymbol w^* x1u+x2v+x3w∗ 落在平面 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1+b2+b3=0 上 。

这里将代数与几何相结合，线性组合可以形成整个空间，也可以只形成一个平面。Figure1.10 展示了这两种情况之间的差别：

五、无关与相关

Figure1.10 中第一个图是矩阵 A A A 的列向量，第二个图是矩阵 C C C 的列向量。 u \boldsymbol u u 和 v \boldsymbol v v 是一样的，只看这两个向量的组合，可以得到一个二维的平面，关键是第三个向量是否在这个平面上。
无关（independence） ： w \boldsymbol w w 不在 u \boldsymbol u u 和 v \boldsymbol v v 形成的平面上。
相关（dependence ）： w ∗ \boldsymbol w^* w∗ 在 u \boldsymbol u u 和 v \boldsymbol v v 形成的平面上。

重点在于向量 w ∗ \boldsymbol w^* w∗ 是 u \boldsymbol u u 和 v \boldsymbol v v 的线性组合： u + v + w ∗ = 0 w ∗ = [ − 1 0 1 ] = − u − v ( 1.3.14 ) \boldsymbol u+\boldsymbol v+\boldsymbol w^*=\boldsymbol 0\kern 15pt\boldsymbol w^*=\begin{bmatrix}-1\\\kern 7pt0\\\kern 7pt1\end{bmatrix}=-\boldsymbol u-\boldsymbol v\kern 20pt(1.3.14) u+v+w∗=0w∗= −101 =−u−v(1.3.14)这三个向量 u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 分量的和都是零，它们所有的线性组合都会有 b 1 + b 2 + b 3 = 0 b_1+b_2+b_3=0 b1+b2+b3=0（即将这三个方程相加），这个平面就是 u \boldsymbol u u 和 v \boldsymbol v v 的线性组合所形成的，而 w ∗ \boldsymbol w^* w∗ 已经在这个平面上了，我们并没有得到任何新的向量。

而 w = ( 0 , 0 , 1 ) \boldsymbol w=(0,0,1) w=(0,0,1) 并不在这个平面上，因为 0 + 0 + 1 ≠ 0 0+0+1\neq0 0+0+1=0， u , v , w \boldsymbol u,\boldsymbol v,\boldsymbol w u,v,w 的线性组合可以形成整个三维空间。对于任意的 b \boldsymbol b b，我们可以通过式（1.3.6） x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 找到它的线性组合，使方程成立。
u , v , w \boldsymbol u,\boldsymbol v,\boldsymbol w u,v,w 无关，除了 0 u + 0 v + 0 w = 0 0\boldsymbol u+0\boldsymbol v+0\boldsymbol w=\boldsymbol 0 0u+0v+0w=0 外，没有其它任何线性组合可以得到 b = 0 \boldsymbol b=\boldsymbol 0 b=0。
u , v , w ∗ \boldsymbol u,\boldsymbol v,\boldsymbol w^* u,v,w∗ 相关，存在除 x = ( 0 , 0 , 0 ) \boldsymbol x=(0,0,0) x=(0,0,0) 之外的其它线性组合使得 A x = b = 0 A\boldsymbol x=\boldsymbol b=\boldsymbol 0 Ax=b=0。

将其推广到 n n n 维空间的 n n n 个向量，则这些向量是一个 n × n n\times n n×n 矩阵的列：

无关列： A x = 0 A\boldsymbol x=\boldsymbol 0 Ax=0 仅有一个解， A A A 是可逆矩阵 。

相关列： C x = 0 C\boldsymbol x=\boldsymbol 0 Cx=0 有很多解， C C C 是奇异矩阵。

六、主要内容总结

1. 矩阵乘向量： A x = A A\boldsymbol x=A Ax=A 列的线性组合。
2. 当 A A A 是可逆矩阵时， A x = b A\boldsymbol x=\boldsymbol b Ax=b 的解是 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b。
3. 循环差分矩阵 C C C 没有逆矩阵，因为它的三个列在同一平面，这些相关列相加是零向量， C x = 0 C\boldsymbol x=\boldsymbol 0 Cx=0 有很多解。

七、例题

【例1 】 将 A A A 的左下角单元 a 31 a_{31} a31（第3行，1列）改成 a 31 = 1 a_{31}=1 a31=1，则 A x = b A\boldsymbol x=\boldsymbol b Ax=b 变成： [ 1 0 0 − 1 1 0 1 − 1 1 ] [ x 1 x 2 x 3 ] = [ x 1 − x 1 + x 2 x 1 − x 2 + x 3 ] = [ b 1 b 2 b 3 ] \begin{bmatrix}\kern 7pt1&\kern 7pt0&0\\-1&\kern 7pt1&0\\\kern 7pt1&-1&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_1\kern 47pt\\-x_1+x_2\kern 31pt\\x_1-x_2+x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix} 1−1101−1001 x1x2x3 = x1−x1+x2x1−x2+x3 = b1b2b3 对任意的 b \boldsymbol b b 求出 x \boldsymbol x x。求出 A A A 的逆矩阵 A − 1 A^{-1} A−1，使得 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 成立。
解： 从上到下求解（线性三角形）系统 A x = b A\boldsymbol x=\boldsymbol b Ax=b： { x 1 = b 1 x 2 = b 1 + b 2 x 3 = b 2 + b 3 可得   x = A − 1 b = [ 1 0 0 1 1 0 0 1 1 ] [ b 1 b 2 b 3 ] \left\{\begin{matrix}x_1=b_1\kern 44pt\\x_2=b_1+b_2\kern 22pt\\x_3=\kern 21ptb_2+b_3\end{matrix}\right.可得\,\boldsymbol x=A^{-1}\boldsymbol b=\begin{bmatrix}1&0&0\\1&1&0\\0&1&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix} ⎩ ⎨ ⎧x1=b1x2=b1+b2x3=b2+b3可得x=A−1b= 110011001 b1b2b3 矩阵 A A A 的三个列仍是无关列，它们不在同一平面，这三个列的线性组合使用正确的加权 x 1 x_1 x1， x 2 x_2 x2， x 3 x_3 x3，可以得到任意的三维向量 b = ( b 1 , b 2 , b 3 ) \boldsymbol b=(b_1,b_2,b_3) b=(b1,b2,b3)，而这些加权可以从 x = A − 1 b \boldsymbol x=A^{-1}\boldsymbol b x=A−1b 得到。

【例2 】 E E E 是一个消元（elimination）矩阵 ， E E E 有一个减法， E − 1 E^{-1} E−1 则有一个加法。 b = E x [ b 1 b 2 ] = [ x 1 x 2 − l x 1 ] = [ 1 0 − l 1 ] [ x 1 x 2 ] E = [ 1 0 − l 1 ] \boldsymbol b=E\boldsymbol x\kern 15pt\begin{bmatrix}b_1\\b_2\end{bmatrix}=\begin{bmatrix}x_1\kern 27pt\\x_2-lx_1\end{bmatrix}=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix}\begin{bmatrix}x_1\\x_2\end{bmatrix}\kern 15ptE=\begin{bmatrix}\kern 7pt1&0\\-l&1\end{bmatrix} b=Ex[b1b2]=[x1x2−lx1]=[1−l01][x1x2]E=[1−l01]第一个方程是 x 1 = b 1 x_1=b_1 x1=b1，第二个方程是 x 2 − l x 1 = b 2 x_2-lx_1=b_2 x2−lx1=b2。因为消元矩阵有减法，所以其逆矩阵会把 l b 1 lb_1 lb1 加到 b 2 b_2 b2： x = E − 1 b [ x 1 x 2 ] = [ b 1 l b 1 + b 2 ] = [ 1 0 l 1 ] [ b 1 b 2 ] E − 1 = [ 1 0 l 1 ] \boldsymbol x=E^{-1}\boldsymbol b\kern 15pt\begin{bmatrix}x_1\\x_2\end{bmatrix}=\begin{bmatrix}b_1\kern 19pt\\lb_1+b_2\end{bmatrix}=\begin{bmatrix}1&0\\l&1\end{bmatrix}\begin{bmatrix}b_1\\b_2\end{bmatrix}\kern 15ptE^{-1}=\begin{bmatrix}1&0\\l&1\end{bmatrix} x=E−1b[x1x2]=[b1lb1+b2]=[1l01][b1b2]E−1=[1l01]

【例3 】将矩阵 C C C 从循环差分变为中心差分产生 x 3 − x 1 x_3-x_1 x3−x1： C x = b [ 0 1 0 − 1 0 1 0 − 1 0 ] [ x 1 x 2 x 3 ] = [ x 2 − 0 x 3 − x 1 0 − x 2 ] = [ b 1 b 2 b 3 ] ( 1.3.15 ) C\boldsymbol x=\boldsymbol b\kern 15pt\begin{bmatrix}\kern 7pt0&\kern 7pt1&0\\-1&\kern 7pt0&1\\\kern 7pt0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\end{bmatrix}=\begin{bmatrix}x_2-0\kern 6pt\\x_3-x_1\\0-x_2\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\end{bmatrix}\kern 20pt(1.3.15) Cx=b 0−1010−1010 x1x2x3 = x2−0x3−x10−x2 = b1b2b3 (1.3.15) C x = b C\boldsymbol x=\boldsymbol b Cx=b 只有在 b 1 + b 3 = x 2 − x 2 = 0 b_1+b_3=x_2-x_2=0 b1+b3=x2−x2=0 时才有解，这个是三维空间中向量 b \boldsymbol b b 的一个平面。 C C C 的每一列都在这个平面上，该矩阵不可逆，所以这个平面包含了这些列的全部线性组合（即所有的向量 C x C\boldsymbol x Cx）。式（1.3.15）将 0 也写了进去，可以看到矩阵 C C C 产生了 "中心差分"， C x C\boldsymbol x Cx 的行 i i i 是 x i + 1 − x i − 1 x_{i+1}-x_{i-1} xi+1−xi−1。

下面是 4 × 4 4×4 4×4 中心差分的例子： C x = b [ 0 1 0 0 − 1 0 1 0 0 − 1 0 1 0 0 − 1 0 ] [ x 1 x 2 x 3 x 4 ] = [ x 1 − 0 x 3 − x 1 x 4 − x 2 0 − x 3 ] = [ b 1 b 2 b 3 b 4 ] C\boldsymbol x=\boldsymbol b\kern 10pt\begin{bmatrix}0&1&0&0\\-1&0&1&0\\0&-1&0&1\\0&0&-1&0\end{bmatrix}\begin{bmatrix}x_1\\x_2\\x_3\\x_4\end{bmatrix}=\begin{bmatrix}x_1-0\\x_3-x_1\\x_4-x_2\\0-x_3\end{bmatrix}=\begin{bmatrix}b_1\\b_2\\b_3\\b_4\end{bmatrix} Cx=b 0−10010−10010−10010 x1x2x3x4 = x1−0x3−x1x4−x20−x3 = b1b2b3b4 这个矩阵是可逆的！但是 5 × 5 5\times5 5×5 的矩阵是奇异的 ⋯ \cdots ⋯