矩阵奇异值分解

矩阵特征值分解要求矩阵为方阵，因为要满足，所以必须为方阵，不然两边形状不一样。

而矩阵奇异值分解是一个非常强大且应用广泛的矩阵分解方法，它可以将任意的的矩阵分解为三个矩阵的乘积：。

其中：

• 是一个的正交矩阵，其列向量为的特征向量，称为的左奇异向量；
• 是一个的对角矩阵，对角线上的元素是矩阵的奇异值，按降序排列，非对角元素均为0，奇异值是，其中是或的特征值；
• 是一个的正交矩阵，其列向量是的特征向量，称为的右奇异向量。

推导：

1. 从入手

考虑矩阵，它是一个的对称半正定矩阵。

由于是对称矩阵，所以可以进行特征值分解：矩阵特征值分解

其中是的特征值，的列向量是对应的特征向量。

2. 奇异值与特征值的关系

因为的特征值都是非负的，因为它是半正定矩阵，所以可以定义奇异值，按照奇异值降序排列约定，我们可以重新排列和的列。

3. 构建矩阵

是一个的对角矩阵，其对角线上的元素是奇异值.

4. 构建矩阵

从可以得到，考虑的前列，记为，它们对应非零奇异值。那么（这里是的第列），所以我们可以定义，可以证明是一组标准的正交向量。

所以是一个正交矩阵。

5. 证明

展开后得：

，又，所以，代入得：

。

由于是的特征向量，它们构成一组标准正交基，所以,

• 当时，，所以；
• 当时，是一个投影矩阵，投影到的非零特征值对应的特征空间，我们需要证明：

，

等价于证明，

，这里是零特征值对应的特征向量，

意味着，即，所以，

所以 。

所以得证。