SVD 是怎么被"想出来"的？------从一个朴素问题出发
你有没有见过这样的公式？
\[M = U \Sigma V^T \]
看起来挺简洁，对吧？但当你翻开教材，发现这背后藏着一堆正交矩阵、奇异值、特征向量......瞬间头大。
我每次看到 SVD，都忍不住想：这玩意儿到底是怎么被"想出来"的？是某个数学家喝多了咖啡，突然梦见上帝说："听着，所有矩阵都能拆成三步走......"
今天，我们不背公式，不套定理。我们要还原 SVD 的"发明"过程------从一个最朴素的问题出发：一个矩阵，到底对向量做了什么？
一、矩阵左乘 = 沿坐标轴的伸缩（从最简单例子开始）
我们从一个最简单的 \(2 \times 2\) 对角矩阵入手：
\[D = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \]
取任意向量 \(\mathbf{x} = \begin{bmatrix} x_1 \\ x_2 \end{bmatrix}\)，左乘后得到：
\[D \mathbf{x} = \begin{bmatrix} 3x_1 \\ x_2 \end{bmatrix} \]
这意味着：输入向量在标准基方向 \(\mathbf{e}_1 = (1,0)^T\) 和 \(\mathbf{e}_2 = (0,1)^T\) 上被独立拉伸 ------\(x\) 方向放大 3 倍，\(y\) 方向不变。
这个例子揭示了矩阵左乘的本质：线性变换 = 对输入空间的各个方向进行伸缩（可能还混合） 。
而对角矩阵之所以"干净"，是因为它恰好以标准基为伸缩方向，没有混合。
但现实中的矩阵通常不是对角的。那么问题来了：非对角矩阵是否也能找到自己的"伸缩方向"？
二、EVD：方阵的"主伸缩方向"与秩的含义
考虑一个对称方阵：
\[A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \]
我们寻找那些被 \(A\) 作用后只伸缩、不转向 的向量 \(\mathbf{v}\)，即满足：
\[A \mathbf{v} = \lambda \mathbf{v} \]
这就是特征方程 ，其中 \(\lambda\) 是特征值，\(\mathbf{v}\) 是对应的特征向量。
对上面的 \(A\)，解得两组解：
- \(\lambda_1 = 3\)，对应 \(\mathbf{v}_1 = \begin{bmatrix} 1 \\ 1 \end{bmatrix}\)
- \(\lambda_2 = 1\)，对应 \(\mathbf{v}_2 = \begin{bmatrix} 1 \\ -1 \end{bmatrix}\)
将这两个向量单位化（归一化），得到标准正交基：
\[\mathbf{q}_1 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ 1 \end{bmatrix}, \quad \mathbf{q}_2 = \frac{1}{\sqrt{2}} \begin{bmatrix} 1 \\ -1 \end{bmatrix} \]
把它们拼成正交矩阵 \(Q = [\mathbf{q}_1, \mathbf{q}_2]\)，则 \(Q^T Q = I\)。
由于 \(A \mathbf{q}_i = \lambda_i \mathbf{q}_i\) 对每个列都成立，我们可以把所有等式合写为：
\[A Q = Q \Lambda \quad \Rightarrow \quad A = Q \Lambda Q^T \]
其中
\[\Lambda = \begin{bmatrix} 3 & 0 \\ 0 & 1 \end{bmatrix} \]
这就是特征值分解（EVD） 。它告诉我们：任何可对角化的方阵，本质上只是在一组特定正交方向上做独立伸缩。
满秩 vs 低秩：不只是数学，更是能力
一个 \(n \times n\) 矩阵的"能力"取决于它有多少个非零特征值。
-
满秩矩阵：比如
\[A = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix} \]
有两个非零特征值（3 和 1），秩为 2。它能对任意方向的输入产生非零输出------换句话说，它可以"操控"整个 2D 空间。
-
低秩矩阵：比如
\[B = \begin{bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix} \]
特征值为 2 和 0，秩为 1。它只能在方向 \(\begin{bmatrix}1 \\ 1\end{bmatrix}\) 上拉伸，而在垂直方向 \(\begin{bmatrix}1 \\ -1\end{bmatrix}\) 上输出恒为零。无论你输入什么，结果永远落在一条直线上。
在深度学习中，这种差异至关重要：
- 满秩变换（如初始权重）具有最大表达能力，能响应任意输入变化；
- 低秩更新 （如微调时的 \(\Delta W\)）则表明：模型真正需要调整的，往往只是少数几个"敏感方向"。
这正是 LoRA（Low-Rank Adaptation）有效的核心原因：我们不需要改动整个高维权重矩阵，只需在低维子空间中微调，就能高效适配新任务。
但 EVD 有一个致命限制：它只适用于方阵 。一旦矩阵是"长方形"的，比如 \(M \in \mathbb{R}^{n \times m}\) 且 \(n \ne m\)，特征方程 \(M \mathbf{v} = \lambda \mathbf{v}\) 就因维度不匹配而失去意义。
于是，我们必须回答一个更一般的问题：非方阵如何描述其"伸缩行为"？
三、SVD：为非方阵找到"跨空间的主方向"
面对 \(M \in \mathbb{R}^{n \times m}\)，我们放弃"输入输出方向相同"的执念，转而问：
是否存在输入空间的一组标准正交基 \(\{\mathbf{v}_1, \dots, \mathbf{v}_m\}\) 和输出空间的一组标准正交基 \(\{\mathbf{u}_1, \dots, \mathbf{u}_n\}\)，使得
\[M \mathbf{v}_i = \sigma_i \mathbf{u}_i \quad (i = 1, \dots, r = \min(n,m)) \]
这个等式是我们希望达成的目标：第 \(i\) 个输入主方向 \(\mathbf{v}_i\)，只激发第 \(i\) 个输出主方向 \(\mathbf{u}_i\)，放大 \(\sigma_i\) 倍。
我们按拉伸强度从大到小排序：\(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_r \geq 0\)。
更一般的表示是
\[MV=U\Sigma \]
后面我们可以知道\(V\)是正交矩阵，所以上式两边都右乘\(V^T\)，就可以得到常见的 SVD 的形式了
\[MVV^T=MVV^{-1}=M=U\Sigma V^T \]
3.1 以最强方向 \(\sigma_1\) 为例
回归正题，我们该如何计算 \(\sigma_i\)呢？我们以最强方向，即 \(\sigma_1\)为最大值的情况为例。
假设存在单位向量 \(\mathbf{v}_1\) 和 \(\mathbf{u}_1\)，使得：
\[M \mathbf{v}_1 = \sigma_1 \mathbf{u}_1, \quad \|\mathbf{v}_1\| = \|\mathbf{u}_1\| = 1. \]
两边取范数，得：
\[\|M \mathbf{v}_1\| = \|\sigma_1 \mathbf{u}_1\| = \sigma_1. \]
因此，\(\sigma_1\) 就是 \(M\) 在单位输入下能产生的最大输出长度。
换句话说，\(\sigma_1\) 是如下优化问题的解：
\[\sigma_1 = \max_{\|\mathbf{v}\| = 1} \|M \mathbf{v}\|. \]
由于范数非负，等价于最大化其平方：
\[\sigma_1^2= \max_{\|\mathbf{v}\| = 1} \|M \mathbf{v}\|^2 = \max_{\|\mathbf{v}\| = 1} \mathbf{v}^T (M^T M) \mathbf{v}. \]
3.2 计算奇异值和右奇异矩阵 V
记 \(A = M^T M\)。矩阵 \(A\) 是 \(m \times m\) 实对称矩阵，且对任意 \(\mathbf{v}\) 有 \(\mathbf{v}^T A \mathbf{v} \geq 0\)，故 \(A\) 半正定。记 \(A\) 的特征值按非增序排列为 \(\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_m \geq 0\)，对应的标准正交特征向量为 \(\mathbf{q}_1, \dots, \mathbf{q}_m\)，即
\[A \mathbf{q}_i = \lambda_i \mathbf{q}_i \]
瑞利商的极值性质表明(原理推导见本节末尾）：
\[\max_{\|\mathbf{v}\| = 1} \mathbf{v}^T A \mathbf{v} = \lambda_1, \]
且最大值在 \(\mathbf{v} = \mathbf{q}_1\) 处取得。更一般地，对 \(k = 1, \dots, m\)，
\[\max_{\substack{\|\mathbf{v}\| = 1 \\ \mathbf{v} \perp \mathbf{q}1, \dots, \mathbf{q}{k-1}}} \mathbf{v}^T A \mathbf{v} = \lambda_k, \]
在 \(\mathbf{v} = \mathbf{q}_k\) 处取得。说人话就是，第k 大的值就是\(\lambda_k\)，而且是在\(v=q_k\)时可以得到。
所以
\[\sigma_i^2 = \max_{\|\mathbf{v}\| = 1} \mathbf{v}^T (M^T M) \mathbf{v} = \lambda_i \quad i = 1, \dots, m, \]
则 \(\sigma_i=\sqrt{\lambda_i}, \sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_m \geq 0\)，且
\[v_i=q_i \]
至此，我们成功求解了矩阵 V和奇异值矩阵\(\Sigma\)
瑞利商性质 ：对实对称矩阵 \(A\)，定义其瑞利商为
\[R_A(\mathbf{c}) = \frac{\mathbf{c}^T A \mathbf{c}}{\mathbf{c}^T \mathbf{c}}, \quad \mathbf{c} \ne \mathbf{0}. \]
当 \(\|\mathbf{c}\| = 1\) 时，\(R_A(\mathbf{c}) = \mathbf{c}^T A \mathbf{c}\)。
设 \(A\) 的特征值按非增序排列为 \(\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_m \geq 0\)，对应的标准正交特征向量为 \(\mathbf{q}_1, \dots, \mathbf{q}_m\)，即
\[A \mathbf{q}_i = \lambda_i \mathbf{q}_i, \quad \mathbf{q}_i^T \mathbf{q}j = \delta{ij}. \]
瑞利商的极值性质表明：
\[\max_{\|\mathbf{c}\| = 1} \mathbf{c}^T A \mathbf{c} = \lambda_1, \]
且最大值在 \(\mathbf{c} = \mathbf{q}_1\) 处取得。更一般地，对 \(k = 1, \dots, m\)，
\[\max_{\substack{\|\mathbf{c}\| = 1 \\ \mathbf{c} \perp \mathbf{q}1, \dots, \mathbf{q}{k-1}}} \mathbf{c}^T A \mathbf{c} = \lambda_k, \]
在 \(\mathbf{c} = \mathbf{q}_k\) 处取得。
因此，令
\[\sigma_i = \sqrt{\lambda_i}, \quad \mathbf{c}_i = \mathbf{q}_i, \quad i = 1, \dots, m, \]
则 \(\sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_m \geq 0\)，且
\[\|M \mathbf{c}_i\|^2 = \mathbf{c}_i^T A \mathbf{c}_i = \lambda_i = \sigma_i^2. \]
3.3 构造左奇异矩阵
令 \(r = \operatorname{rank}(M)\)。由于 \(\operatorname{rank}(M) = \operatorname{rank}(M^T M)\)，有 \(\sigma_i > 0\) 当且仅当 \(i \leq r\)。
对每个 \(i = 1, \dots, r\)，根据最前面的定义\(M \mathbf{v}_i = \sigma_i \mathbf{u}_i\)，我们有
\[\mathbf{u}_i = \frac{1}{\sigma_i} M \mathbf{v}_i. \]
至此就可算出对应的\(\sigma_i,v_i,u_i\)。我们会发现求得的 \(u_i\)也是基坐标，彼此正交：
\[\|\mathbf{u}_i\| = \frac{1}{\sigma_i} \|M \mathbf{v}_i\| = \frac{1}{\sigma_i} \cdot \sigma_i = 1, \]
且
\[M \mathbf{v}_i = \sigma_i \mathbf{u}_i. \]
对 \(i \ne j \leq r\)，有
\[\mathbf{u}_i^T \mathbf{u}_j = \frac{1}{\sigma_i \sigma_j} \mathbf{v}_i^T M^T M \mathbf{v}_j = \frac{1}{\sigma_i \sigma_j} \mathbf{v}_i^T (\sigma_j^2 \mathbf{v}_j) = \sigma_j \cdot \mathbf{v}_i^T \mathbf{v}_j = 0, \]
故 \(\{\mathbf{u}_1, \dots, \mathbf{u}_r\}\) 是 \(\mathbb{R}^n\) 中的标准正交向量组。
前面计算的\(u_i\)是与\(v_i\)一一对应的，但是当 \(r < n\)时，剩下的\(u_i\)该如何计算呢？我们会发现存在 \(n - r\) 维子空间
\[\mathcal{U}_\perp = \left\{ \mathbf{x} \in \mathbb{R}^n \,\middle|\, \mathbf{u}_i^T \mathbf{x} = 0,\ \forall i = 1, \dots, r \right\}. \]
在 \(\mathcal{U}\perp\) 中任取一组标准正交基 \(\{\mathbf{u}{r+1}, \dots, \mathbf{u}_n\}\)，则最终的左奇异矩阵为
\[U = [\mathbf{u}_1, \dots, \mathbf{u}_n] \in \mathbb{R}^{n \times n} \]
为正交矩阵。
3.4 拼装 SVD
令
- \(V = [\mathbf{v}_1, \dots, \mathbf{v}_m] \in \mathbb{R}^{m \times m}\)，
- \(\Sigma \in \mathbb{R}^{n \times m}\) 为对角矩阵，其对角元为 \(\sigma_1, \dots, \sigma_r\)，其余元素为 0。
由 \(M \mathbf{v}_i = \sigma_i \mathbf{u}_i\) 对 \(i = 1, \dots, r\) 成立，且对 \(i > r\) 有 \(\sigma_i = 0\)，可得矩阵等式
\[M V = U \Sigma. \]
由于 \(V\) 正交（\(V^T V = I_m\)），右乘 \(V^T\) 得
\[M = U \Sigma V^T. \]
结语
SVD 并非凭空定义的数学魔术，而是为了解决"非方阵如何描述伸缩"这一朴素问题，从对角矩阵 → EVD → 跨空间推广，一步步自然推导出的必然结果。
当你再看到 \(M = U \Sigma V^T\)，请记住：
它只是在说------先转一下，再拉伸，再转一下。
而这，就是所有线性变换最干净的表达方式。