文章目录
- [:zero: 施密特正交化](#:zero: 施密特正交化)
- [:one: 正交阵](#:one: 正交阵)
- [:two: 酉矩阵](#:two: 酉矩阵)
- [:three: 对称矩阵](#:three: 对称矩阵)
- [:four: Hermite矩阵](#:four: Hermite矩阵)
- [:five: 正交相似对角化](#:five: 正交相似对角化)
- [:six: 奇异值分解SVD](#:six: 奇异值分解SVD)
🚀本文先介绍一下施密特正交化的原理，接着从 正交阵/酉矩阵， 对称矩阵/Hermite矩阵， 正交相似对角化/SVD奇异值分解的三处对比，来说明在实数域和复数域的一些相似的定义与运算。
😄希望你在阅读完毕后能通过对比联想的方式加深对这些概念的理解。
0️⃣ 施密特正交化
β i = α i − ∑ j = 1 i − 1 ⟨ α i , β j ⟩ ⟨ β j , β j ⟩ β j = α i − ∑ j = 1 i − 1 p r o j β j ( α i ) \beta_i=\alpha_i-\sum_{j=1}^{i-1}\frac{\langle\alpha_i,\beta_j\rangle}{\langle\beta_j,\beta_j\rangle}\beta_j=\alpha_i-\sum_{j=1}^{i-1}proj_{\beta_j}(\alpha_i) βi=αi−∑j=1i−1⟨βj,βj⟩⟨αi,βj⟩βj=αi−∑j=1i−1projβj(αi)
这里举一个例子，要把 [ α 1 α 2 α 3 ] \begin{bmatrix}\alpha_1&\alpha_2&\alpha_3\end{bmatrix} [α1α2α3]转化为 [ β 1 β 2 β 3 ] \begin{bmatrix}\beta_1&\beta_2&\beta_3\end{bmatrix} [β1β2β3]的正交向量(未单位化)，则有：
β 1 = α 1 \beta_1=\alpha_1 β1=α1
β 2 = α 2 − p r o j β 1 ( α 2 ) \beta_2=\alpha_2-proj_{\beta_1}(\alpha_2) β2=α2−projβ1(α2)
β 3 = α 3 − p r o j β 1 ( α 3 ) − p r o j β 2 ( α 3 ) \beta_3=\alpha_3-proj_{\beta_1}(\alpha_3)-proj_{\beta_2}(\alpha_3) β3=α3−projβ1(α3)−projβ2(α3)
1️⃣ 正交阵
若 A T A = I A^TA=I ATA=I，即 A − 1 = A T A^{-1}=A^T A−1=AT，则称 A A A为正交阵， A A A的列向量都为单位向量，且两两正交。它有如下性质：
① {\color{#E16B8C}{①}} ①特征值绝对值为1
② {\color{#E16B8C}{②}} ② det ( A ) = 1 \det(A)=1 det(A)=1
③ {\color{#E16B8C}{③}} ③ ∥ A x ∥ 2 = ∥ x ∥ 2 , ⟨ A x , A y ⟩ = ⟨ x , y ⟩ \parallel A\mathbf{x}\parallel_2=\parallel \mathbf{x}\parallel_2,\;\langle A\mathbf{x},A\mathbf{y}\rangle=\langle \mathbf{x,y}\rangle ∥Ax∥2=∥x∥2,⟨Ax,Ay⟩=⟨x,y⟩
2️⃣ 酉矩阵
若 U ∗ U = I U^*U=I U∗U=I，即 U − 1 = U ∗ U^{-1}=U^* U−1=U∗，则称 U U U为酉矩阵， U U U的列向量都为单位向量，且两两正交。它有如下性质：
① {\color{#E16B8C}{①}} ①特征值绝对值为1
② {\color{#E16B8C}{②}} ② det ( U ) = 1 \det(U)=1 det(U)=1
③ {\color{#E16B8C}{③}} ③ ∥ U x ∥ 2 = ∥ x ∥ 2 , ⟨ U x , U y ⟩ = ⟨ x , y ⟩ \parallel U\mathbf{x}\parallel_2=\parallel \mathbf{x}\parallel_2,\;\langle U\mathbf{x},U\mathbf{y}\rangle=\langle \mathbf{x,y}\rangle ∥Ux∥2=∥x∥2,⟨Ux,Uy⟩=⟨x,y⟩
3️⃣ 对称矩阵
若 A = A T A=A^T A=AT，则称 A A A为对称矩阵。它有如下性质：
① {\color{#E16B8C}{①}} ①不同特征值对应的特征向量是正交的
② {\color{#E16B8C}{②}} ②存在正交阵 Q Q Q，使得 Q T A Q Q^TAQ QTAQ为一个对角阵，对角线元素为 A A A的特征值
4️⃣ Hermite矩阵
若 H = H ∗ H=H^* H=H∗，则称 H H H为Hermite矩阵。它有如下性质：
① {\color{#E16B8C}{①}} ①不同特征值对应的特征向量是正交的
② {\color{#E16B8C}{②}} ②存在酉矩阵 U U U，使得 U ∗ H U U^*HU U∗HU为一个对角阵，对角线元素为 H H H的特征值
5️⃣ 正交相似对角化
这里以一个例题的形式，说明正交相似对角化的过程：
e.g. 求正交矩阵 Q Q Q，使得 A = Q Λ Q T A=Q\Lambda Q^{T} A=QΛQT，其中 A = [ 1 − 2 2 − 2 − 2 4 2 4 − 2 ] A=\begin{bmatrix}1&-2&2\\-2&-2&4\\2&4&-2\end{bmatrix} A= 1−22−2−2424−2 ， Λ \Lambda Λ为对应的对角阵.
① {\color{#E16B8C}{①}} ①计算 A A A的特征值和对应的特征向量(从大到小排列)
det ( λ I − A ) = [ λ − 1 2 − 2 2 λ + 2 − 4 − 2 − 4 λ + 2 ] = ( λ − 2 ) 2 ( λ + 7 ) \det(\lambda I-A)=\begin{bmatrix}\lambda-1&2&-2\\2&\lambda+2&-4\\-2&-4&\lambda+2\end{bmatrix}=(\lambda-2)^2(\lambda+7) det(λI−A)= λ−12−22λ+2−4−2−4λ+2 =(λ−2)2(λ+7)
{ ( 2 I − A ) x 1 , 2 = 0 ( − 7 I − A ) x 3 = 0 ⇒ { x 1 = [ − 2 1 0 ] T , x 2 = [ 2 0 1 ] T x 3 = [ − 1 − 2 2 ] T \begin{cases}(2I-A)x_{1,2}=0\\(-7I-A)x_3=0\end{cases}\Rightarrow\begin{cases}x_1=\begin{bmatrix}-2&1&0\end{bmatrix}^T,x_2=\begin{bmatrix}2&0&1\end{bmatrix}^T\\x_3=\begin{bmatrix}-1&-2&2\end{bmatrix}^T\end{cases} {(2I−A)x1,2=0(−7I−A)x3=0⇒{x1=[−210]T,x2=[201]Tx3=[−1−22]T
② {\color{#E16B8C}{②}} ②标准正交化
由于对称矩阵不同特征值对应的特征向量正交，则有对 x 1 , x 2 x_1,x_2 x1,x2进行正交化：
η 1 = x 1 = [ − 2 1 0 ] T \eta_1=x_1=\begin{bmatrix}-2&1&0\end{bmatrix}^T η1=x1=[−210]T
η 2 = x 2 − p r o j η 1 ( x 2 ) = [ 2 5 4 5 1 ] T \eta_2=x_2-proj_{\eta_1}(x_2)=\begin{bmatrix}\frac{2}{5}&\frac{4}{5}&1\end{bmatrix}^T η2=x2−projη1(x2)=[52541]T
再将 η 1 , η 2 , x 3 \eta_1,\eta_2,x_3 η1,η2,x3单位化为 a 1 , a 2 , a 3 a_1,a_2,a_3 a1,a2,a3，并构造正交矩阵有：
Q = [ a 1 a 2 a 3 ] = [ − 2 5 2 3 5 − 1 3 1 5 4 3 5 − 2 3 0 5 3 5 2 3 ] Q=\begin{bmatrix}a_1&a_2&a_3\end{bmatrix}=\begin{bmatrix}\frac{-2}{\sqrt5}&\frac{2}{3\sqrt5}&\frac{-1}{3}\\\frac{1}{\sqrt5}&\frac{4}{3\sqrt5}&\frac{-2}{3}\\0&\frac{5}{3\sqrt5}&\frac{2}{3}\end{bmatrix} Q=[a1a2a3]= 5 −25 1035 235 435 53−13−232
6️⃣ 奇异值分解SVD
SVD(Singular Value Decomposition)，这里以一个例题的形式，说明奇异值分解的过程：
e.g. 求 A = [ 0 1 1 1 1 0 ] A=\begin{bmatrix}0&1\\1&1\\1&0\end{bmatrix} A= 011110 的奇异值分解 A = U Λ V T A=U\Lambda V^T A=UΛVT.
① {\color{#E16B8C}{①}} ①构造Hermite矩阵 A A ∗ AA^* AA∗和 A ∗ A A^*A A∗A（类似于构造对称矩阵）
A A ∗ = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 1 1 0 1 2 1 0 1 1 ] AA^*=\begin{bmatrix}0 &1\\1&1\\1&0\end{bmatrix}\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}=\begin{bmatrix}1&1&0\\1&2&1\\0&1&1\end{bmatrix} AA∗= 011110 [011110]= 110121011
A ∗ A = [ 0 1 1 1 1 0 ] [ 0 1 1 1 1 0 ] = [ 2 1 1 2 ] A^*A=\begin{bmatrix}0&1&1\\1&1&0\end{bmatrix}\begin{bmatrix}0 &1\\1&1\\1&0\end{bmatrix}=\begin{bmatrix}2&1\\1&2\end{bmatrix} A∗A=[011110] 011110 =[2112]
② {\color{#E16B8C}{②}} ②计算Hermite矩阵的特征值和特征向量(从大到小排列)
det ( λ I − A A ∗ ) = ∣ λ − 1 − 1 0 − 1 λ − 2 − 1 0 − 1 λ − 1 ∣ = λ ( λ − 1 ) ( λ − 3 ) = 0 \det(\lambda I-AA^*)=\begin{vmatrix}\lambda-1&-1&0\\-1&\lambda-2&-1\\0&-1&\lambda-1\end{vmatrix}=\lambda(\lambda-1)(\lambda-3)=0 det(λI−AA∗)= λ−1−10−1λ−2−10−1λ−1 =λ(λ−1)(λ−3)=0
{ ( 3 I − A A ∗ ) u 1 = 0 ( I − A A ∗ ) u 2 = 0 A A ∗ u 3 = 0 ⇒ U = [ u 1 u 2 u 3 ] = [ 1 6 1 2 1 3 2 6 0 − 1 3 1 6 − 1 2 1 3 ] \begin{cases}(3I-AA^*)u_1=0\\(I-AA^*)u_2=0\\AA^*u_3=0\end{cases}\Rightarrow U=\begin{bmatrix}u_1&u_2&u_3\end{bmatrix}=\begin{bmatrix}\frac{1}{\sqrt6}&\frac{1}{\sqrt2}&\frac{1}{\sqrt3}\\\frac{2}{\sqrt6}&0&\frac{-1}{\sqrt3}\\\frac{1}{\sqrt6}&\frac{-1}{\sqrt2}&\frac{1}{\sqrt3}\end{bmatrix} ⎩ ⎨ ⎧(3I−AA∗)u1=0(I−AA∗)u2=0AA∗u3=0⇒U=[u1u2u3]= 6 16 26 12 102 −13 13 −13 1
\newline
det ( λ I − A ∗ A ) = ∣ λ − 2 − 1 − 1 λ − 2 ∣ = ( λ − 1 ) ( λ − 3 ) = 0 \det(\lambda I-A^*A)=\begin{vmatrix}\lambda-2&-1\\-1&\lambda-2\end{vmatrix}=(\lambda-1)(\lambda-3)=0 det(λI−A∗A)= λ−2−1−1λ−2 =(λ−1)(λ−3)=0
{ ( 3 I − A ∗ A ) v 1 = 0 ( I − A ∗ A ) v 2 = 0 ⇒ V = [ v 1 v 2 ] = [ 1 2 − 1 2 1 2 1 2 ] \begin{cases}(3I-A^*A)v_1=0\\(I-A^*A)v_2=0\end{cases}\Rightarrow V=\begin{bmatrix}v_1&v_2\end{bmatrix}=\begin{bmatrix}\frac{1}{\sqrt2}&\frac{-1}{\sqrt2}\\\frac{1}{\sqrt2}&\frac{1}{\sqrt2}\end{bmatrix} {(3I−A∗A)v1=0(I−A∗A)v2=0⇒V=[v1v2]=[2 12 12 −12 1]
由于以上没有重根特征值，即一个特征值对应多个特征向量的情况，所以不需要对这些向量进行单位正交化，如果有这种情况，则对所涉的向量进行施密特正交化。
③ {\color{#E16B8C}{③}} ③书写奇异阵，书写酉矩阵
(1) 奇异阵(Hermite矩阵特征值开根号)
Σ = [ 3 0 0 1 0 0 ] \Sigma=\begin{bmatrix}\sqrt3&0\\0&1\\0&0\end{bmatrix} Σ= 3 00010
(2) 酉矩阵
U = [ 1 6 1 2 1 3 2 6 0 − 1 3 1 6 − 1 2 1 3 ] U=\begin{bmatrix}\frac{1}{\sqrt6}&\frac{1}{\sqrt2}&\frac{1}{\sqrt3}\\\frac{2}{\sqrt6}&0&\frac{-1}{\sqrt3}\\\frac{1}{\sqrt6}&\frac{-1}{\sqrt2}&\frac{1}{\sqrt3}\end{bmatrix} U= 6 16 26 12 102 −13 13 −13 1
V = [ 1 2 − 1 2 1 2 1 2 ] V=\begin{bmatrix}\frac{1}{\sqrt2}&\frac{-1}{\sqrt2}\\\frac{1}{\sqrt2}&\frac{1}{\sqrt2}\end{bmatrix} V=[2 12 12 −12 1]
(3) 综合
A = U Σ V T A=U\Sigma V^T A=UΣVT