线性代数笔记14--投影

1. 一维空间投影

p = X A e = B − p = B − X A A ⊤ e = 0 A ⊤ ( B − X A ) = 0 X A ⊤ A = A ⊤ B X = A ⊤ B A ⊤ A p = X A = A A ⊤ B A ⊤ A p=XA\\ e=B-p=B-XA\\ A^{\top}e=0\\ A^{\top}(B-XA)=0\\ XA^{\top}A=A^{\top}B\\ X=\frac{A^{\top}B}{A^{\top}A}\\ p=XA=A\frac{A^{\top}B}{A^{\top}A}\\ p=XAe=B−p=B−XAA⊤e=0A⊤(B−XA)=0XA⊤A=A⊤BX=A⊤AA⊤Bp=XA=AA⊤AA⊤B

相当于在B上作用了一个投影矩阵。假设大写 P P P为投影矩阵
p = P B = A A ⊤ A ⊤ A B p=PB=\frac{AA^{\top}}{A^{\top}A}B p=PB=A⊤AAA⊤B

因为列变换并不影响列空间,所以。

C ( p ) = C ( A ) = 通过 A 的直线 r a n k ( p ) = 1 C(p)=C(A)=通过A的直线\\ rank(p)=1 C(p)=C(A)=通过A的直线rank(p)=1

投影矩阵对称
( A A ⊤ A ⊤ A ) ⊤ = A A ⊤ A ⊤ A P ⊤ = P (\frac{AA^{\top}}{A^{\top}A})^{\top}= \frac{AA^{\top}}{A^{\top}A}\\ P^{\top}=P (A⊤AAA⊤)⊤=A⊤AAA⊤P⊤=P

投影矩阵只有一次的作用效果
P 2 = P P^{2}=P P2=P

2. 为什么要投影?

对于方程 A X = b AX=b AX=b, b b b可能不在 A A A的列空间上,这样就没有解了。

这时我们可以把 b b b投影到 A A A的列空间上来得到这个最可能的解。

A ^ X = p \hat{A}X=p A^X=p

A = [ a 1 a 2 ] e ⊥ A e = b − p p = A X ^ A=[a_1\ a_2]\\ e \perp A\\ e = b-p\\ p=A\hat{X} A=[a1 a2]e⊥Ae=b−pp=AX^

a 1 ⊤ ( b − A X ^ ) = 0 a 2 ⊤ ( b − A X ^ ) = 0 [ a 1 ⊤ a 2 ⊤ ] ( b − A X ^ ) = 0    ⟺    A ⊤ ( b − A X ^ ) = 0 a_1^{\top}(b-A\hat{X})=0\\ a_2^{\top}(b-A\hat{X})=0\\ \begin{bmatrix} a_1^{\top}\\ a_2^{\top}\\ \end{bmatrix} (b-A\hat{X})=0 \iff A^{\top}(b-A\hat{X})=0 a1⊤(b−AX^)=0a2⊤(b−AX^)=0[a1⊤a2⊤](b−AX^)=0⟺A⊤(b−AX^)=0

e ∈ N ( A ⊤ ) e ⊥ C ( A ) e \in N(A^{\top})\\ e \perp C(A) e∈N(A⊤)e⊥C(A)

X ^ = ( A ⊤ A ) − 1 A ⊤ b p = A ( A ⊤ A ) − 1 A ⊤ b \hat{X}=(A^{\top}A)^{-1}A^{\top}b\\ p=A(A^{\top}A)^{-1}A^{\top}b X^=(A⊤A)−1A⊤bp=A(A⊤A)−1A⊤b

投影矩阵
P = A ( A ⊤ A ) − 1 A ⊤ P=A(A^{\top}A)^{-1}A^{\top} P=A(A⊤A)−1A⊤

投影矩阵性质

  • P ⊤ = P P^{\top}=P P⊤=P

P ⊤ = ( A ⊤ ) ⊤ ( ( A ⊤ A ) − 1 ) ⊤ A ⊤ ( ( A ⊤ A ) − 1 ) ⊤ = ( ( A ⊤ A ) ⊤ ) − 1 = ( A ⊤ A ) − 1 P ⊤ = A ( A ⊤ A ) − 1 A ⊤ P^{\top}=(A^{\top})^{\top}((A^{\top}A)^{-1})^{\top}A^{\top}\\ ((A^{\top}A)^{-1})^{\top}=((A^{\top}A)^{\top})^{-1}=(A^{\top}A)^{-1}\\ P^{\top}=A(A^{\top}A)^{-1}A^{\top} P⊤=(A⊤)⊤((A⊤A)−1)⊤A⊤((A⊤A)−1)⊤=((A⊤A)⊤)−1=(A⊤A)−1P⊤=A(A⊤A)−1A⊤

  • P n = P P^n=P Pn=P

P P = A ( A ⊤ A ) − 1 A ⊤ A ( A ⊤ A ) − 1 A ⊤ = A ( A ⊤ A ) − 1 { A ⊤ A ( A ⊤ A ) − 1 } A ⊤ = A ( A ⊤ A ) − 1 A ⊤ PP=A(A^{\top}A)^{-1}A^{\top}A(A^{\top}A)^{-1}A^{\top}=\\ A(A^{\top}A)^{-1}\{A^{\top}A(A^{\top}A)^{-1}\}A^{\top}=\\ A(A^{\top}A)^{-1}A^{\top} PP=A(A⊤A)−1A⊤A(A⊤A)−1A⊤=A(A⊤A)−1{A⊤A(A⊤A)−1}A⊤=A(A⊤A)−1A⊤

相关推荐
爱敲代码的憨仔1 小时前
《线性代数的本质》
线性代数·算法·决策树
美式小田1 小时前
单片机学习笔记 9. 8×8LED点阵屏
笔记·单片机·嵌入式硬件·学习
猫爪笔记1 小时前
前端:HTML (学习笔记)【2】
前端·笔记·学习·html
_不会dp不改名_1 小时前
HCIA笔记3--TCP-UDP-交换机工作原理
笔记·tcp/ip·udp
-一杯为品-2 小时前
【51单片机】程序实验5&6.独立按键-矩阵按键
c语言·笔记·学习·51单片机·硬件工程
熙曦Sakura3 小时前
完全竞争市场
笔记
dr李四维5 小时前
iOS构建版本以及Hbuilder打iOS的ipa包全流程
前端·笔记·ios·产品运营·产品经理·xcode
Komorebi.py8 小时前
【Linux】-学习笔记05
linux·笔记·学习
亦枫Leonlew8 小时前
微积分复习笔记 Calculus Volume 1 - 6.5 Physical Applications
笔记·数学·微积分
冰帝海岸13 小时前
01-spring security认证笔记
java·笔记·spring