SVD求解超定方程 :
正交矩阵的保范性：乘一个正交矩阵，其模大小不变，可以想象成乘一个旋转矩阵。
∥ A x − b ∥ 2 2 = ∥ U [ Σ 0 ] V T x − b ∥ 2 2 （两边同时乘 U T ，不改变模大小） = ∥ [ Σ 0 ] V T x − [ U ‾ n U ‾ ] T b ∥ 2 2 ( U T = [ U ‾ n U ‾ ] T ) = ∥ [ Σ V T x − U ‾ n T b − U ‾ T b ] ∥ 2 2 = ∥ Σ V T x − U ‾ n T b ∥ 2 2 + ∥ U ‾ T b ∥ 2 2 ≥ ∥ U ‾ T b ∥ 2 2 \begin{aligned} \|Ax-b\|{2}^{2}& =\left\|U \left[\begin{matrix} \Sigma \\ 0 \end{matrix} \right] V^T x-b\right\|{2}^{2} （两边同时乘U^T，不改变模大小） \\ &=\left\| \left[\begin{matrix} \Sigma \\ 0 \end{matrix} \right] V^T x - \left[\begin{array}{c c} \overline{U}{n} & \overline{U} \end{array}\right]^{T} b\right\|{2}^{2} (U^T=\left[\begin{array}{c c} \overline{U}{n} & \overline{U} \end{array}\right]^{T}) \\ &=\left\|\left[\begin{matrix} \Sigma V^{T} x-\overline{U}{n}^{T} b \\-\overline{U}^{T} b \end{matrix}\right]\right\|{2}^{2} \\ &=\left\|\Sigma V^{T} x-\overline{U}{n}^{T} b\right\|{2}^{2}+\left\|\overline{U}^{T} b\right\|{2}^{2} \geq \left\|\overline{U}^{T} b\right\|_{2}^{2} \end{aligned} ∥Ax−b∥22= U[Σ0]VTx−b 22（两边同时乘UT，不改变模大小）= [Σ0]VTx−[UnU]Tb 22(UT=[UnU]T)= [ΣVTx−UnTb−UTb] 22= ΣVTx−UnTb 22+ UTb 22≥ UTb 22
等号当且仅当 Σ V T x − U ‾ n T b = 0 \Sigma V^{T} x-\overline{U}{n}^{T} b=0 ΣVTx−UnTb=0时成立，所以：
x = ( Σ V T ) − 1 U ‾ n T b = V Σ − 1 U ‾ n T b x=(\Sigma V^{T})^{-1} \overline{U}{n}^{T} b=V \Sigma^{-1} \overline{U}_{n}^{T} b x=(ΣVT)−1UnTb=VΣ−1UnTb这就是线性最小二乘问题的解。
特殊情况：齐次线性方程组 A x = 0 Ax=0 Ax=0
m i n ∣ ∣ A x ∣ ∣ s t . ∣ ∣ x ∣ ∣ = 1 min||Ax|| st.\ ||x||=1 min∣∣Ax∣∣st. ∣∣x∣∣=1
则： Σ V T x = 0 \Sigma V^{T} x=0 ΣVTx=0，
令 V T x = y V^T x = y VTx=y，由正交矩阵的保范性知 ∣ ∣ y ∣ ∣ = 1 ||y||=1 ∣∣y∣∣=1
当仅当 y = [ 0 , 0 , 0 , 1 ] T y=[0,0,0,1]^T y=[0,0,0,1]T时， Σ y \Sigma y Σy取得最小值，则 x = V ∗ [ 0 , 0 , 0 , 1 ] T x=V*[0,0,0,1]^T x=V∗[0,0,0,1]T
此时，最小二乘解为 A T A A^TA ATA最小特征值对应的特征向量。