1. 一维空间投影
p = X A e = B − p = B − X A A ⊤ e = 0 A ⊤ ( B − X A ) = 0 X A ⊤ A = A ⊤ B X = A ⊤ B A ⊤ A p = X A = A A ⊤ B A ⊤ A p=XA\\ e=B-p=B-XA\\ A^{\top}e=0\\ A^{\top}(B-XA)=0\\ XA^{\top}A=A^{\top}B\\ X=\frac{A^{\top}B}{A^{\top}A}\\ p=XA=A\frac{A^{\top}B}{A^{\top}A}\\ p=XAe=B−p=B−XAA⊤e=0A⊤(B−XA)=0XA⊤A=A⊤BX=A⊤AA⊤Bp=XA=AA⊤AA⊤B
相当于在B上作用了一个投影矩阵。假设大写 P P P为投影矩阵
p = P B = A A ⊤ A ⊤ A B p=PB=\frac{AA^{\top}}{A^{\top}A}B p=PB=A⊤AAA⊤B
因为列变换并不影响列空间，所以。
C ( p ) = C ( A ) = 通过 A 的直线 r a n k ( p ) = 1 C(p)=C(A)=通过A的直线\\ rank(p)=1 C(p)=C(A)=通过A的直线rank(p)=1
投影矩阵对称
( A A ⊤ A ⊤ A ) ⊤ = A A ⊤ A ⊤ A P ⊤ = P (\frac{AA^{\top}}{A^{\top}A})^{\top}= \frac{AA^{\top}}{A^{\top}A}\\ P^{\top}=P (A⊤AAA⊤)⊤=A⊤AAA⊤P⊤=P
投影矩阵只有一次的作用效果
P 2 = P P^{2}=P P2=P
2. 为什么要投影？
对于方程 A X = b AX=b AX=b, b b b可能不在 A A A的列空间上，这样就没有解了。
这时我们可以把 b b b投影到 A A A的列空间上来得到这个最可能的解。
A ^ X = p \hat{A}X=p A^X=p
A = a 1 a 2 e ⊥ A e = b − p p = A X ^ A=a_1\\ a_2\\ e \perp A\\ e = b-p\\ p=A\hat{X} A=a1 a2e⊥Ae=b−pp=AX^
a 1 ⊤ ( b − A X ^ ) = 0 a 2 ⊤ ( b − A X ^ ) = 0 a 1 ⊤ a 2 ⊤ ( b − A X ^ ) = 0 ⟺ A ⊤ ( b − A X ^ ) = 0 a_1^{\top}(b-A\hat{X})=0\\ a_2^{\top}(b-A\hat{X})=0\\ \begin{bmatrix} a_1^{\top}\\ a_2^{\top}\\ \end{bmatrix} (b-A\hat{X})=0 \iff A^{\top}(b-A\hat{X})=0 a1⊤(b−AX^)=0a2⊤(b−AX^)=0a1⊤a2⊤(b−AX^)=0⟺A⊤(b−AX^)=0
e ∈ N ( A ⊤ ) e ⊥ C ( A ) e \in N(A^{\top})\\ e \perp C(A) e∈N(A⊤)e⊥C(A)
X ^ = ( A ⊤ A ) − 1 A ⊤ b p = A ( A ⊤ A ) − 1 A ⊤ b \hat{X}=(A^{\top}A)^{-1}A^{\top}b\\ p=A(A^{\top}A)^{-1}A^{\top}b X^=(A⊤A)−1A⊤bp=A(A⊤A)−1A⊤b
投影矩阵
P = A ( A ⊤ A ) − 1 A ⊤ P=A(A^{\top}A)^{-1}A^{\top} P=A(A⊤A)−1A⊤
投影矩阵性质
- P ⊤ = P P^{\top}=P P⊤=P
P ⊤ = ( A ⊤ ) ⊤ ( ( A ⊤ A ) − 1 ) ⊤ A ⊤ ( ( A ⊤ A ) − 1 ) ⊤ = ( ( A ⊤ A ) ⊤ ) − 1 = ( A ⊤ A ) − 1 P ⊤ = A ( A ⊤ A ) − 1 A ⊤ P^{\top}=(A^{\top})^{\top}((A^{\top}A)^{-1})^{\top}A^{\top}\\ ((A^{\top}A)^{-1})^{\top}=((A^{\top}A)^{\top})^{-1}=(A^{\top}A)^{-1}\\ P^{\top}=A(A^{\top}A)^{-1}A^{\top} P⊤=(A⊤)⊤((A⊤A)−1)⊤A⊤((A⊤A)−1)⊤=((A⊤A)⊤)−1=(A⊤A)−1P⊤=A(A⊤A)−1A⊤
- P n = P P^n=P Pn=P
P P = A ( A ⊤ A ) − 1 A ⊤ A ( A ⊤ A ) − 1 A ⊤ = A ( A ⊤ A ) − 1 { A ⊤ A ( A ⊤ A ) − 1 } A ⊤ = A ( A ⊤ A ) − 1 A ⊤ PP=A(A^{\top}A)^{-1}A^{\top}A(A^{\top}A)^{-1}A^{\top}=\\ A(A^{\top}A)^{-1}\{A^{\top}A(A^{\top}A)^{-1}\}A^{\top}=\\ A(A^{\top}A)^{-1}A^{\top} PP=A(A⊤A)−1A⊤A(A⊤A)−1A⊤=A(A⊤A)−1{A⊤A(A⊤A)−1}A⊤=A(A⊤A)−1A⊤