线性代数笔记14--投影

1. 一维空间投影

p = X A e = B − p = B − X A A ⊤ e = 0 A ⊤ ( B − X A ) = 0 X A ⊤ A = A ⊤ B X = A ⊤ B A ⊤ A p = X A = A A ⊤ B A ⊤ A p=XA\\ e=B-p=B-XA\\ A^{\top}e=0\\ A^{\top}(B-XA)=0\\ XA^{\top}A=A^{\top}B\\ X=\frac{A^{\top}B}{A^{\top}A}\\ p=XA=A\frac{A^{\top}B}{A^{\top}A}\\ p=XAe=B−p=B−XAA⊤e=0A⊤(B−XA)=0XA⊤A=A⊤BX=A⊤AA⊤Bp=XA=AA⊤AA⊤B

相当于在B上作用了一个投影矩阵。假设大写 P P P为投影矩阵
p = P B = A A ⊤ A ⊤ A B p=PB=\frac{AA^{\top}}{A^{\top}A}B p=PB=A⊤AAA⊤B

因为列变换并不影响列空间,所以。

C ( p ) = C ( A ) = 通过 A 的直线 r a n k ( p ) = 1 C(p)=C(A)=通过A的直线\\ rank(p)=1 C(p)=C(A)=通过A的直线rank(p)=1

投影矩阵对称
( A A ⊤ A ⊤ A ) ⊤ = A A ⊤ A ⊤ A P ⊤ = P (\frac{AA^{\top}}{A^{\top}A})^{\top}= \frac{AA^{\top}}{A^{\top}A}\\ P^{\top}=P (A⊤AAA⊤)⊤=A⊤AAA⊤P⊤=P

投影矩阵只有一次的作用效果
P 2 = P P^{2}=P P2=P

2. 为什么要投影?

对于方程 A X = b AX=b AX=b, b b b可能不在 A A A的列空间上,这样就没有解了。

这时我们可以把 b b b投影到 A A A的列空间上来得到这个最可能的解。

A ^ X = p \hat{A}X=p A^X=p

A = [ a 1 a 2 ] e ⊥ A e = b − p p = A X ^ A=[a_1\ a_2]\\ e \perp A\\ e = b-p\\ p=A\hat{X} A=[a1 a2]e⊥Ae=b−pp=AX^

a 1 ⊤ ( b − A X ^ ) = 0 a 2 ⊤ ( b − A X ^ ) = 0 [ a 1 ⊤ a 2 ⊤ ] ( b − A X ^ ) = 0    ⟺    A ⊤ ( b − A X ^ ) = 0 a_1^{\top}(b-A\hat{X})=0\\ a_2^{\top}(b-A\hat{X})=0\\ \begin{bmatrix} a_1^{\top}\\ a_2^{\top}\\ \end{bmatrix} (b-A\hat{X})=0 \iff A^{\top}(b-A\hat{X})=0 a1⊤(b−AX^)=0a2⊤(b−AX^)=0[a1⊤a2⊤](b−AX^)=0⟺A⊤(b−AX^)=0

e ∈ N ( A ⊤ ) e ⊥ C ( A ) e \in N(A^{\top})\\ e \perp C(A) e∈N(A⊤)e⊥C(A)

X ^ = ( A ⊤ A ) − 1 A ⊤ b p = A ( A ⊤ A ) − 1 A ⊤ b \hat{X}=(A^{\top}A)^{-1}A^{\top}b\\ p=A(A^{\top}A)^{-1}A^{\top}b X^=(A⊤A)−1A⊤bp=A(A⊤A)−1A⊤b

投影矩阵
P = A ( A ⊤ A ) − 1 A ⊤ P=A(A^{\top}A)^{-1}A^{\top} P=A(A⊤A)−1A⊤

投影矩阵性质

  • P ⊤ = P P^{\top}=P P⊤=P

P ⊤ = ( A ⊤ ) ⊤ ( ( A ⊤ A ) − 1 ) ⊤ A ⊤ ( ( A ⊤ A ) − 1 ) ⊤ = ( ( A ⊤ A ) ⊤ ) − 1 = ( A ⊤ A ) − 1 P ⊤ = A ( A ⊤ A ) − 1 A ⊤ P^{\top}=(A^{\top})^{\top}((A^{\top}A)^{-1})^{\top}A^{\top}\\ ((A^{\top}A)^{-1})^{\top}=((A^{\top}A)^{\top})^{-1}=(A^{\top}A)^{-1}\\ P^{\top}=A(A^{\top}A)^{-1}A^{\top} P⊤=(A⊤)⊤((A⊤A)−1)⊤A⊤((A⊤A)−1)⊤=((A⊤A)⊤)−1=(A⊤A)−1P⊤=A(A⊤A)−1A⊤

  • P n = P P^n=P Pn=P

P P = A ( A ⊤ A ) − 1 A ⊤ A ( A ⊤ A ) − 1 A ⊤ = A ( A ⊤ A ) − 1 { A ⊤ A ( A ⊤ A ) − 1 } A ⊤ = A ( A ⊤ A ) − 1 A ⊤ PP=A(A^{\top}A)^{-1}A^{\top}A(A^{\top}A)^{-1}A^{\top}=\\ A(A^{\top}A)^{-1}\{A^{\top}A(A^{\top}A)^{-1}\}A^{\top}=\\ A(A^{\top}A)^{-1}A^{\top} PP=A(A⊤A)−1A⊤A(A⊤A)−1A⊤=A(A⊤A)−1{A⊤A(A⊤A)−1}A⊤=A(A⊤A)−1A⊤

相关推荐
天水幼麟1 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
天水幼麟4 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
绿皮的猪猪侠4 小时前
算法笔记上机训练实战指南刷题
笔记·算法·pta·上机·浙大
沧海一笑-dj4 小时前
【51单片机】51单片机学习笔记-课程简介
笔记·学习·51单片机·江科大·江科大学习笔记·江科大单片机·江科大51单片机
老虎06274 小时前
JavaWeb(苍穹外卖)--学习笔记04(前端:HTML,CSS,JavaScript)
前端·javascript·css·笔记·学习·html
大苏打seven5 小时前
Docker学习笔记:Docker网络
笔记·学习·docker
微小冷7 小时前
二关节机器人系统模型推导
线性代数·机器人·概率论·推导·拉格朗日函数·二关节机器人·机器人控制系统的设计
kikikidult9 小时前
(2025.07)解决——ubuntu20.04系统开机黑屏,左上角光标闪烁
笔记·ubuntu
近津薪荼9 小时前
初学者关于数据在内存中的储存的笔记
笔记
碎叶城李白11 小时前
若依学习笔记1-validated
java·笔记·学习·validated