SVD求解超定方程 :
正交矩阵的保范性：乘一个正交矩阵，其模大小不变，可以想象成乘一个旋转矩阵。
∥ A x − b ∥ 2 2 = ∥ U Σ 0 V T x − b ∥ 2 2 （两边同时乘 U T ，不改变模大小） = ∥ Σ 0 V T x − U ‾ n U ‾ T b ∥ 2 2 ( U T = U ‾ n U ‾ T ) = ∥ Σ V T x − U ‾ n T b − U ‾ T b ∥ 2 2 = ∥ Σ V T x − U ‾ n T b ∥ 2 2 + ∥ U ‾ T b ∥ 2 2 ≥ ∥ U ‾ T b ∥ 2 2 \begin{aligned} \|Ax-b\|{2}^{2}& =\left\|U \left\\begin{matrix} \\Sigma \\\\ 0 \\end{matrix} \\right V^T x-b\right\|{2}^{2} （两边同时乘U^T，不改变模大小） \\ &=\left\| \left\\begin{matrix} \\Sigma \\\\ 0 \\end{matrix} \\right V^T x - \left\\begin{array}{c c} \\overline{U}_{n} \& \\overline{U} \\end{array}\\right^{T} b\right\|{2}^{2} (U^T=\left\\begin{array}{c c} \\overline{U}_{n} \& \\overline{U} \\end{array}\\right^{T}) \\ &=\left\|\left\\begin{matrix} \\Sigma V\^{T} x-\\overline{U}_{n}\^{T} b \\\\-\\overline{U}\^{T} b \\end{matrix}\\right\right\|{2}^{2} \\ &=\left\|\Sigma V^{T} x-\overline{U}{n}^{T} b\right\|{2}^{2}+\left\|\overline{U}^{T} b\right\|{2}^{2} \geq \left\|\overline{U}^{T} b\right\|{2}^{2} \end{aligned} ∥Ax−b∥22= UΣ0VTx−b 22（两边同时乘UT，不改变模大小）= Σ0VTx−UnUTb 22(UT=UnUT)= ΣVTx−UnTb−UTb 22= ΣVTx−UnTb 22+ UTb 22≥ UTb 22
等号当且仅当 Σ V T x − U ‾ n T b = 0 \Sigma V^{T} x-\overline{U}{n}^{T} b=0 ΣVTx−UnTb=0时成立，所以：
x = ( Σ V T ) − 1 U ‾ n T b = V Σ − 1 U ‾ n T b x=(\Sigma V^{T})^{-1} \overline{U}{n}^{T} b=V \Sigma^{-1} \overline{U}_{n}^{T} b x=(ΣVT)−1UnTb=VΣ−1UnTb这就是线性最小二乘问题的解。
特殊情况：齐次线性方程组 A x = 0 Ax=0 Ax=0
m i n ∣ ∣ A x ∣ ∣ s t . ∣ ∣ x ∣ ∣ = 1 min||Ax|| st.\ ||x||=1 min∣∣Ax∣∣st. ∣∣x∣∣=1
则： Σ V T x = 0 \Sigma V^{T} x=0 ΣVTx=0，
令 V T x = y V^T x = y VTx=y，由正交矩阵的保范性知 ∣ ∣ y ∣ ∣ = 1 ||y||=1 ∣∣y∣∣=1
当仅当 y = 0 , 0 , 0 , 1 T y=0,0,0,1^T y=0,0,0,1T时， Σ y \Sigma y Σy取得最小值，则 x = V ∗ 0 , 0 , 0 , 1 T x=V*0,0,0,1^T x=V∗0,0,0,1T
此时，最小二乘解为 A T A A^TA ATA最小特征值对应的特征向量。