线性代数笔记14--投影

1. 一维空间投影

p = X A e = B − p = B − X A A ⊤ e = 0 A ⊤ ( B − X A ) = 0 X A ⊤ A = A ⊤ B X = A ⊤ B A ⊤ A p = X A = A A ⊤ B A ⊤ A p=XA\\ e=B-p=B-XA\\ A^{\top}e=0\\ A^{\top}(B-XA)=0\\ XA^{\top}A=A^{\top}B\\ X=\frac{A^{\top}B}{A^{\top}A}\\ p=XA=A\frac{A^{\top}B}{A^{\top}A}\\ p=XAe=B−p=B−XAA⊤e=0A⊤(B−XA)=0XA⊤A=A⊤BX=A⊤AA⊤Bp=XA=AA⊤AA⊤B

相当于在B上作用了一个投影矩阵。假设大写 P P P为投影矩阵
p = P B = A A ⊤ A ⊤ A B p=PB=\frac{AA^{\top}}{A^{\top}A}B p=PB=A⊤AAA⊤B

因为列变换并不影响列空间,所以。

C ( p ) = C ( A ) = 通过 A 的直线 r a n k ( p ) = 1 C(p)=C(A)=通过A的直线\\ rank(p)=1 C(p)=C(A)=通过A的直线rank(p)=1

投影矩阵对称
( A A ⊤ A ⊤ A ) ⊤ = A A ⊤ A ⊤ A P ⊤ = P (\frac{AA^{\top}}{A^{\top}A})^{\top}= \frac{AA^{\top}}{A^{\top}A}\\ P^{\top}=P (A⊤AAA⊤)⊤=A⊤AAA⊤P⊤=P

投影矩阵只有一次的作用效果
P 2 = P P^{2}=P P2=P

2. 为什么要投影?

对于方程 A X = b AX=b AX=b, b b b可能不在 A A A的列空间上,这样就没有解了。

这时我们可以把 b b b投影到 A A A的列空间上来得到这个最可能的解。

A ^ X = p \hat{A}X=p A^X=p

A = [ a 1 a 2 ] e ⊥ A e = b − p p = A X ^ A=[a_1\ a_2]\\ e \perp A\\ e = b-p\\ p=A\hat{X} A=[a1 a2]e⊥Ae=b−pp=AX^

a 1 ⊤ ( b − A X ^ ) = 0 a 2 ⊤ ( b − A X ^ ) = 0 [ a 1 ⊤ a 2 ⊤ ] ( b − A X ^ ) = 0    ⟺    A ⊤ ( b − A X ^ ) = 0 a_1^{\top}(b-A\hat{X})=0\\ a_2^{\top}(b-A\hat{X})=0\\ \begin{bmatrix} a_1^{\top}\\ a_2^{\top}\\ \end{bmatrix} (b-A\hat{X})=0 \iff A^{\top}(b-A\hat{X})=0 a1⊤(b−AX^)=0a2⊤(b−AX^)=0[a1⊤a2⊤](b−AX^)=0⟺A⊤(b−AX^)=0

e ∈ N ( A ⊤ ) e ⊥ C ( A ) e \in N(A^{\top})\\ e \perp C(A) e∈N(A⊤)e⊥C(A)

X ^ = ( A ⊤ A ) − 1 A ⊤ b p = A ( A ⊤ A ) − 1 A ⊤ b \hat{X}=(A^{\top}A)^{-1}A^{\top}b\\ p=A(A^{\top}A)^{-1}A^{\top}b X^=(A⊤A)−1A⊤bp=A(A⊤A)−1A⊤b

投影矩阵
P = A ( A ⊤ A ) − 1 A ⊤ P=A(A^{\top}A)^{-1}A^{\top} P=A(A⊤A)−1A⊤

投影矩阵性质

  • P ⊤ = P P^{\top}=P P⊤=P

P ⊤ = ( A ⊤ ) ⊤ ( ( A ⊤ A ) − 1 ) ⊤ A ⊤ ( ( A ⊤ A ) − 1 ) ⊤ = ( ( A ⊤ A ) ⊤ ) − 1 = ( A ⊤ A ) − 1 P ⊤ = A ( A ⊤ A ) − 1 A ⊤ P^{\top}=(A^{\top})^{\top}((A^{\top}A)^{-1})^{\top}A^{\top}\\ ((A^{\top}A)^{-1})^{\top}=((A^{\top}A)^{\top})^{-1}=(A^{\top}A)^{-1}\\ P^{\top}=A(A^{\top}A)^{-1}A^{\top} P⊤=(A⊤)⊤((A⊤A)−1)⊤A⊤((A⊤A)−1)⊤=((A⊤A)⊤)−1=(A⊤A)−1P⊤=A(A⊤A)−1A⊤

  • P n = P P^n=P Pn=P

P P = A ( A ⊤ A ) − 1 A ⊤ A ( A ⊤ A ) − 1 A ⊤ = A ( A ⊤ A ) − 1 { A ⊤ A ( A ⊤ A ) − 1 } A ⊤ = A ( A ⊤ A ) − 1 A ⊤ PP=A(A^{\top}A)^{-1}A^{\top}A(A^{\top}A)^{-1}A^{\top}=\\ A(A^{\top}A)^{-1}\{A^{\top}A(A^{\top}A)^{-1}\}A^{\top}=\\ A(A^{\top}A)^{-1}A^{\top} PP=A(A⊤A)−1A⊤A(A⊤A)−1A⊤=A(A⊤A)−1{A⊤A(A⊤A)−1}A⊤=A(A⊤A)−1A⊤

相关推荐
星沁城26 分钟前
240. 搜索二维矩阵 II
java·线性代数·算法·leetcode·矩阵
cuisidong19972 小时前
5G学习笔记三之物理层、数据链路层、RRC层协议
笔记·学习·5g
乌恩大侠2 小时前
5G周边知识笔记
笔记·5g
咔叽布吉3 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
johnny2333 小时前
《大模型应用开发极简入门》笔记
笔记·chatgpt
亦枫Leonlew3 小时前
微积分复习笔记 Calculus Volume 1 - 4.7 Applied Optimization Problems
笔记·数学·微积分·1024程序员节
小肥象不是小飞象3 小时前
(六千字心得笔记)零基础C语言入门第八课——函数(上)
c语言·开发语言·笔记·1024程序员节
星LZX3 小时前
WireShark入门学习笔记
笔记·学习·wireshark
努力变厉害的小超超5 小时前
ArkTS中的组件基础、状态管理、样式处理、class语法以及界面渲染
笔记·鸿蒙
aloha_7899 小时前
从零记录搭建一个干净的mybatis环境
java·笔记·spring·spring cloud·maven·mybatis·springboot