本篇特征值、特征向量笔记来源于MIT线性代数课程。
矩阵特征值与特征向量
- ✨引言
- ✨什么是特征向量呢？
- ✨表示
- ✨从特例看特征值与特征向量
- ✨如何求解方程
- [▶️ 思路：](#▶️ 思路：)
- ✨对称矩阵例子：
- ✨对比观察两个矩阵及它们的特征值及特征向量：
- [✨旋转矩阵例子 =>复数特征值：](#✨旋转矩阵例子 =>复数特征值：)
✨引言
对于方阵而言，现在要找一些特殊的数字，即特征值，和特殊的向量，即特征向量。
✨什么是特征向量呢？
给定矩阵A，矩阵A作用在向量上，得到向量Ax（A的作用，作用在一个向量上，这其实就类似于函数，输入向量x，得到向量Ax）
在这些向量中，我们感兴趣的是一些特殊的向量，即变换前后方向一致的向量。
对于大多数向量而言，变换后的Ax是对于x是不同方向的，但是有特定的向量能使Ax平行于x。这些特殊的向量就是特征向量。
✨表示
A x = λ x \Alpha x=\lambda x Ax=λx
其 中 ， λ 为 一 系 数 。 可 以 与 原 来 向 量 x 的 方 向 相 同 , 也 可 以 相 反 , 即 λ 可 以 为 正 ， 可 以 为 负 ， 也 可 以 为 0 。 ( λ 也 甚 至 可 以 是 复 数 ) 其中，\lambda为一系数。可以与原来向量x的方向相同,\\也可以相反,即\lambda可以为正，可以为负，也可以为0。\\(\lambda也甚至可以是复数) 其中，λ为一系数。可以与原来向量x的方向相同,也可以相反,即λ可以为正，可以为负，也可以为0。(λ也甚至可以是复数)
在上述方程中，
x 就 是 特 征 向 量 ， λ 就 是 特 征 值 。 x就是特征向量，\lambda就是特征值。 x就是特征向量，λ就是特征值。
✨从特例看特征值与特征向量
1️⃣投影矩阵
给定一个平面M，投影矩阵P作用于三维空间中所有的向量，那么哪些是P的特征向量呢？
一，在平面M上的任意向量，经过投影矩阵的作用，这些向量的长度和方向不变， P x = x Px=x Px=x
即特征值为1。
二，任意垂直于平面M的向量，经过投影矩阵的作用，这些向量的方向不变，长度变为0， P x = 0 Px=0 Px=0
即特征值为0。
2️⃣矩阵A，交换向量的两个元素
[ 0 1 1 0 ] \begin{bmatrix} 0 & 1 \\ 1 & 0 \\ \end{bmatrix} [0110]
特征值为1的特征向量
[ 1 1 ] \begin{bmatrix} 1 \\ 1 \\ \end{bmatrix} [11]
特征值为-1的特征向量
[ 1 − 1 ] \begin{bmatrix} 1 \\ -1 \\ \end{bmatrix} [1−1]
✨你发现了吗？
属于两个不同特征值的特征向量是垂直的！
✨引入：特征值的性质n阶矩阵有n个特征值，在找这些特征值的时候，这里有一个特别的性质：
特征值之和等于矩阵元素对角线元素之和。(矩阵对角线元素之和也成为迹)
λ 1 + λ 2 + ... ... + λ n = a 11 + a 22 + ... ... + a n n \lambda_1+\lambda_2+ ......+\lambda_n=a_{11}+a_{22}+ ......+a_{nn} λ1+λ2+......+λn=a11+a22+......+ann
在上述这个2阶矩阵中，若已知一个特征值为1，矩阵对角线元素之和为0，则可以知道另一个特征值为-1。
✨如何求解方程
A x = λ x \Alpha x=\lambda x Ax=λx
首先，我们先将此移向：
( A − λ I ) x = 0 (\Alpha -\lambda I)x=0 (A−λI)x=0
λ 未 知 ， x 未 知 ， 但 是 对 于 不 为 0 向 量 的 x 来 说 ， 这 个 式 子 说 明 了 一 点 一 个 矩 阵 ， 即 A − λ I 作 用 于 一 个 不 为 零 的 向 量 x 后 向 量 变 成 了 0 ， 那 么 这 个 矩 阵 是 奇 异 矩 阵 \lambda 未知，x未知，但是对于不为0向量的x来说，\\这个式子说明了一点\\一个矩阵，即\Alpha-\lambda I作用于一个不为零的向量x后\\向量变成了0，那么这个矩阵是 奇异矩阵 λ未知，x未知，但是对于不为0向量的x来说，这个式子说明了一点一个矩阵，即A−λI作用于一个不为零的向量x后向量变成了0，那么这个矩阵是奇异矩阵
奇异矩阵的性质:
奇异矩阵的行列式为0
非奇异矩阵（等价）：
1.行列式不为0
2.矩阵是满秩的
3.矩阵是可逆的
故 可 得 ， ∣ A − λ I ∣ = 0 故可得，\lvert \Alpha-\lambda I\rvert=0 故可得，∣A−λI∣=0
由此，上述这个式子中就不含x了，从而得到一个关于 λ \lambda λ的一个方程，该方程叫做特征方程或者特征值方程。
▶️ 思路：
▶️ 这 时 我 们 可 以 先 根 据 特 征 方 程 解 出 λ , 而 且 不 止 一 个 λ , 对 于 n 阶 矩 阵 来 说 ， 它 可 能 有 n 个 λ , λ 可 以 是 不 同 的 值 ， 当 然 也 可 以 有 重 复 的 值 甚 至 会 是 同 一 个 λ 重 复 n 次 这时我们可以先根据特征方程解出\lambda,\\而且不止一个\lambda,\\对于n阶矩阵来说，它可能有n个\lambda,\\\lambda可以是不同的值，当然也可以有重复的值\\甚至会是同一个\lambda重复n次 这时我们可以先根据特征方程解出λ,而且不止一个λ,对于n阶矩阵来说，它可能有n个λ,λ可以是不同的值，当然也可以有重复的值甚至会是同一个λ重复n次
▶️ 当 我 们 根 据 特 征 方 程 求 解 出 所 有 的 λ 之 后 我 们 将 一 个 λ 回 代 ， 这 时 矩 阵 A − λ I 是 奇 异 的 。 求 解 x 利 用 消 元 法 （ 已 知 一 个 奇 异 矩 阵 寻 找 零 空 间 ） 当我们根据特征方程求解出所有的\lambda \\之后我们将一个\lambda回代，这时\\矩阵\Alpha-\lambda I是奇异的。\\求解x利用消元法（已知一个奇异矩阵寻找零空间） 当我们根据特征方程求解出所有的λ之后我们将一个λ回代，这时矩阵A−λI是奇异的。求解x利用消元法（已知一个奇异矩阵寻找零空间）
▶️对零空间的理解：
首先，零空间并不是维度为0.
零空间不会独立存在的，它依赖于某个特定的矩阵A而存在。
（拿上面来说，我们就是在寻找矩阵A的零空间，即在矩阵A的作用下被映射到零点的所有向量的集合）
求 解 λ 求解\lambda 求解λ
✨对称矩阵例子：
对于对称矩阵A
[ 3 1 1 3 ] \begin{bmatrix} 3& 1\\ 1 &3\\ \end{bmatrix} [3113]
下面我们来求解它的特征值。
<=>
[ 3 − λ 1 1 3 − λ ] = 0 \begin{bmatrix} 3-\lambda& 1\\ 1 &3-\lambda\\ \end{bmatrix}=0 [3−λ113−λ]=0
<=>
( 3 − λ ) 2 − 1 = 0 ( 1 ) (3-\lambda)^2-1=0 (1) (3−λ)2−1=0(1)
<=>
λ 2 − 6 λ + 8 = 0 ( 2 ) \lambda^2-6\lambda+8=0(2) λ2−6λ+8=0(2)
<=>
( λ − 2 ) ( λ − 4 ) = 0 ( 3 ) (\lambda-2)(\lambda-4)=0(3) (λ−2)(λ−4)=0(3)
<=>
λ 1 = 4 , λ 2 = 2 \lambda_{1}=4,\lambda_{2}=2 λ1=4,λ2=2
因此我们可以得到矩阵A的两个特征值2和4。
接下来我们来求特征向量：
根据 ( A − λ I ) x = 0 (\Alpha -\lambda I)x=0 (A−λI)x=0，我们已知 λ \lambda λ，即已知 ( A − λ I ) (\Alpha -\lambda I) (A−λI)这个矩阵，它是一个奇异矩阵，作用于 x x x 使之为零向量，则 x x x是相应零空间中的向量。
▶️首先，我们先来求解特征值是4对应的特征向量
A − 4 I A-4I A−4I
<=>
= [ 3 − 4 1 1 3 − 4 ] = \begin{bmatrix} 3-4& 1\\ 1 &3-4\\ \end{bmatrix} =[3−4113−4]
<=>
= [ − 1 1 1 − 1 ] =\begin{bmatrix} -1& 1\\ 1 &-1\\ \end{bmatrix} =[−111−1]
现在来找它的零空间 X 1 X_1 X1等于多少？
使得 ( A − λ 1 I ) X 1 = 0 (\Alpha -\lambda_1 I)X_1=0 (A−λ1I)X1=0
显然 X 1 X_1 X1=
[ 1 1 ] \begin{bmatrix} 1 \\ 1 \\ \end{bmatrix} [11]
▶️接下来，我们先来求解特征值是2对应的特征向量
A − 2 I A-2I A−2I
<=>
= [ 3 − 2 1 1 3 − 2 ] = \begin{bmatrix} 3-2& 1\\ 1 &3-2\\ \end{bmatrix} =[3−2113−2]
<=>
= [ 1 1 1 1 ] =\begin{bmatrix} 1& 1\\ 1 &1\\ \end{bmatrix} =[1111]
接下来我们寻找它的零空间的向量 X 2 X_2 X2
通过观察，我们可以看出 X 2 X_2 X2为
[ 1 − 1 ] \begin{bmatrix} 1 \\ -1 \\ \end{bmatrix} [1−1]
✨对比观察两个矩阵及它们的特征值及特征向量：
[ 0 1 1 0 ] \begin{bmatrix} 0 & 1 \\ 1 & 0 \\ \end{bmatrix} [0110]
λ 1 = − 1 , λ 2 = 1 \lambda_1=-1,\lambda_2=1 λ1=−1,λ2=1
[ 3 1 1 3 ] = 0 ( 2 ) \begin{bmatrix} 3& 1\\ 1 &3\\ \end{bmatrix}=0(2) [3113]=0(2)
λ 1 = 2 , λ 2 = 4 \lambda_1=2,\lambda_2=4 λ1=2,λ2=4
记第一个矩阵为 A 1 A_1 A1，第二个矩阵为 A 2 A_2 A2，则有
A 1 + 3 I = A 2 A_1+3 I=A_2 A1+3I=A2
A 1 和 A 2 特 征 向 量 相 同 A_1和A_2特征向量相同 A1和A2特征向量相同
且它们特征值的关系为:
λ A 11 + 3 = λ A 21 \lambda_{A11}+3=\lambda_{A21} λA11+3=λA21
λ A 12 + 3 = λ A 22 \lambda_{A12}+3=\lambda_{A22} λA12+3=λA22
这值得我们细细研究：
如果有：
A x = λ x （ 1 ） \Alpha x = \lambda x（1） Ax=λx（1）
则
( A + 3 I ) x = A x + 3 x = λ x + 3 x = ( λ + 3 ) x （ 2 ） (\Alpha +3I)x =Ax+3x= \lambda x+3x=(\lambda+3)x（2） (A+3I)x=Ax+3x=λx+3x=(λ+3)x（2）
由此，我们可以得出，
特征向量 x x x是两个矩阵共同的特征向量
由(2)，可得， A + 3 I A+3I A+3I的特征值为 λ + 3 \lambda+3 λ+3
由此，我们可以得出，若矩阵 A 和 B A和B A和B存在 A = B + 3 λ A=B+3\lambda A=B+3λ
✨旋转矩阵例子 =>复数特征值：
Q = [ 0 − 1 1 0 ] Q= \begin{bmatrix} 0 & -1 \\ 1 & 0 \\ \end{bmatrix} Q=[01−10]
根据上面我们得到的结论，矩阵的两个特征值 λ 1 和 λ 2 \lambda_1和\lambda_2 λ1和λ2，特征值之和等于矩阵的迹(即矩阵的对角线元素之和)，特征值之积等于矩阵行列式的值，即
λ 1 + λ 2 = 0 （ 1 ） \lambda_1+\lambda_2=0（1） λ1+λ2=0（1）
λ 1 λ 2 = − 1 （ 2 ） \lambda_1\lambda_2=-1（2） λ1λ2=−1（2）
在复数域，我们解出：
λ 1 = i , λ 2 = − i \lambda_1=i,\lambda_2=-i λ1=i,λ2=−i
研究它的意义在于，我们由原来的一个实矩阵，扩展至它的特征值为一对复数。
而出现复数的原因，我们可以直观理解为与矩阵的对称性有关。
相比于前面的举例提到的，如果矩阵是对称的，就不会有复数特征值。
如果我们规定矩阵是对称的或者接近对称的，那么特征值就是实数。
如果越不对称，就如上述的旋转矩阵Q，这种矩阵特征值为纯虚数。
这两种是极端情况。
那么其余的就是介于对称和反对称的矩阵，即部分对称，部分反对称。
举个例子：
[ 3 1 0 3 ] \begin{bmatrix} 3& 1\\ 0 &3\\ \end{bmatrix} [3013]
对于这个矩阵，它的两个特征值：
λ 1 + λ 2 = 3 + 3 = 6 （ 1 ） \lambda_1+\lambda_2=3+3=6（1） λ1+λ2=3+3=6（1）
λ 1 λ 2 = 3 ∗ 3 − 0 = 9 （ 2 ） \lambda_1\lambda_2=3*3-0=9（2） λ1λ2=3∗3−0=9（2）
从而，我们解出，
λ 1 = 3 ， λ 2 = 3 \lambda_1=3，\lambda_2=3 λ1=3，λ2=3
当然，如果你直接观察出这是一个三角矩阵并了解它的性质，可以直接从矩阵得出它的特征值。
三角矩阵的特征值即为对角线的元素，从而，
λ 1 = 3 ， λ 2 = 3 \lambda_1=3，\lambda_2=3 λ1=3，λ2=3