4月16日，和战老师讨论特征值的几何意义，涉及两个议题。
- 单位球面在线性变换下的像是否一定为椭圆？
- 椭圆主轴方向是否与特征向量的方向一致？
最近才得空彻底弄清楚了。
单位球面在线性变换下的椭球性质
一、定理陈述
设A∈Rm×n\boldsymbol{A} \in \mathbb{R}^{m \times n}A∈Rm×n为任意实矩阵。定义单位球面
Sn−1={x∈Rn:∥x∥2=1}. \mathbb{S}^{n-1} = \left\{ \boldsymbol{x} \in \mathbb{R}^n : \left\| \boldsymbol{x} \right\|_2 = 1 \right\}. Sn−1={x∈Rn:∥x∥2=1}.
则集合
ASn−1={Ax∈Rm:x∈Rn, ∥x∥2=1} \boldsymbol{A} \mathbb{S}^{n-1} = \left\{ \boldsymbol{A} \boldsymbol{x} \in \mathbb{R}^m : \boldsymbol{x} \in \mathbb{R}^n,\ \left\| \boldsymbol{x} \right\|_2 = 1 \right\} ASn−1={Ax∈Rm:x∈Rn, ∥x∥2=1}
是Rm\mathbb{R}^mRm中的一个超椭球面。
特别地，若A\boldsymbol{A}A满秩（rank(A)=n\operatorname{rank}(\boldsymbol{A}) = nrank(A)=n），则该椭球面的几何要素由奇异值分解（SVD）唯一确定：
-
半轴长度 ：为矩阵A\boldsymbol{A}A的奇异值
σ1⩾σ2⩾⋯⩾σn>0. \sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_n > 0. σ1⩾σ2⩾⋯⩾σn>0.
-
主轴方向 ：由A\boldsymbol{A}A的左奇异向量
u1,u2,...,un \boldsymbol{u}_1, \boldsymbol{u}_2, \ldots, \boldsymbol{u}_n u1,u2,...,un
给出。
二、预备知识：奇异值分解（SVD）
定理（奇异值分解） ：任意矩阵A∈Rm×n\boldsymbol{A} \in \mathbb{R}^{m \times n}A∈Rm×n可分解为
A=UΣV⊤, \boldsymbol{A} = \boldsymbol{U} \boldsymbol{\varSigma} \boldsymbol{V}^\top, A=UΣV⊤,
其中：
-U=u1,u2,...,um∈Rm×m\boldsymbol{U} = \left \\boldsymbol{u}_1, \\boldsymbol{u}_2, \\ldots, \\boldsymbol{u}_m \\right \in \mathbb{R}^{m \times m}U=u1,u2,...,um∈Rm×m为正交矩阵，其列向量ui\boldsymbol{u}_iui称为左奇异向量 ；
-V=v1,v2,...,vn∈Rn×n\boldsymbol{V} = \left \\boldsymbol{v}_1, \\boldsymbol{v}_2, \\ldots, \\boldsymbol{v}_n \\right \in \mathbb{R}^{n \times n}V=v1,v2,...,vn∈Rn×n为正交矩阵，其列向量vi\boldsymbol{v}_ivi称为右奇异向量 ；
-Σ∈Rm×n\boldsymbol{\varSigma} \in \mathbb{R}^{m \times n}Σ∈Rm×n为对角矩阵，其对角元为奇异值
σ1⩾σ2⩾⋯⩾σmin(m,n)⩾0. \sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_{\min(m,n)} \geqslant 0. σ1⩾σ2⩾⋯⩾σmin(m,n)⩾0.
在满秩情形（rank(A)=n\operatorname{rank}(\boldsymbol{A}) = nrank(A)=n）下，有
σ1⩾σ2⩾⋯⩾σn>0. \sigma_1 \geqslant \sigma_2 \geqslant \cdots \geqslant \sigma_n > 0. σ1⩾σ2⩾⋯⩾σn>0.
三、证明
第 1 步：单位球面的变换
任取x∈Sn−1\boldsymbol{x} \in \mathbb{S}^{n-1}x∈Sn−1，即∥x∥2=1\left\| \boldsymbol{x} \right\|_2 = 1∥x∥2=1。令
y=V⊤x. \boldsymbol{y} = \boldsymbol{V}^\top \boldsymbol{x}. y=V⊤x.
因V\boldsymbol{V}V为正交矩阵，其保持欧氏范数不变：
∥y∥2=∥V⊤x∥2=∥x∥2=1. \left\| \boldsymbol{y} \right\|_2 = \left\| \boldsymbol{V}^\top \boldsymbol{x} \right\|_2 = \left\| \boldsymbol{x} \right\|_2 = 1. ∥y∥2= V⊤x 2=∥x∥2=1.
记y=(y1,y2,...,yn)⊤\boldsymbol{y} = \left( y_1, y_2, \ldots, y_n \right)^\topy=(y1,y2,...,yn)⊤，则有
∑i=1nyi2=1. \sum_{i=1}^{n} y_i^2 = 1. i=1∑nyi2=1.
变换后的像为
z=Ax=UΣV⊤x=UΣy. \boldsymbol{z} = \boldsymbol{A} \boldsymbol{x} = \boldsymbol{U} \boldsymbol{\varSigma} \boldsymbol{V}^\top \boldsymbol{x} = \boldsymbol{U} \boldsymbol{\varSigma} \boldsymbol{y}. z=Ax=UΣV⊤x=UΣy.
由于Σ\boldsymbol{\varSigma}Σ为对角矩阵，有
Σy=(σ1y1,σ2y2,...,σnyn)⊤. \boldsymbol{\varSigma} \boldsymbol{y} = \left( \sigma_1 y_1, \sigma_2 y_2, \ldots, \sigma_n y_n \right)^\top. Σy=(σ1y1,σ2y2,...,σnyn)⊤.
第 2 步：推导像集合的代数方程
将z\boldsymbol{z}z在左奇异向量基{u1,u2,...,un}\left\{ \boldsymbol{u}_1, \boldsymbol{u}_2, \ldots, \boldsymbol{u}_n \right\}{u1,u2,...,un}下展开。由于U\boldsymbol{U}U为正交矩阵，坐标向量为U⊤z\boldsymbol{U}^\top \boldsymbol{z}U⊤z。由上一步得
U⊤z=U⊤(UΣy)=Σy. \boldsymbol{U}^\top \boldsymbol{z} = \boldsymbol{U}^\top \left( \boldsymbol{U} \boldsymbol{\varSigma} \boldsymbol{y} \right) = \boldsymbol{\varSigma} \boldsymbol{y}. U⊤z=U⊤(UΣy)=Σy.
因此，对每个i=1,2,...,ni = 1, 2, \ldots, ni=1,2,...,n，有
(U⊤z)i=ui⊤z=σiyi. \left( \boldsymbol{U}^\top \boldsymbol{z} \right)_i =\boldsymbol{u}_i^\top \boldsymbol{z} = \sigma_i y_i. (U⊤z)i=ui⊤z=σiyi.
由于满秩假设保证σi>0\sigma_i > 0σi>0，可解出
yi=ui⊤zσi. y_i = \frac{\boldsymbol{u}_i^\top \boldsymbol{z} }{\sigma_i}. yi=σiui⊤z.
代入∑i=1nyi2=1\sum_{i=1}^{n} y_i^2 = 1∑i=1nyi2=1，像集合的标准方程：
∑i=1n(ui⊤z)2σi2=1. \sum_{i=1}^{n} \frac{\left( \boldsymbol{u}_i^\top \boldsymbol{z} \right)^2}{\sigma_i^2} = 1. i=1∑nσi2(ui⊤z)2=1.
第 3 步：椭球几何要素
令w=U⊤z\boldsymbol{w} = \boldsymbol{U}^\top \boldsymbol{z}w=U⊤z，则w=(w1,w2,...,wn)⊤\boldsymbol{w} = \left( w_1, w_2, \ldots, w_n \right)^\topw=(w1,w2,...,wn)⊤为z\boldsymbol{z}z在基{ui}\left\{ \boldsymbol{u}_i \right\}{ui}下的坐标。上式等价于
∑i=1nwi2σi2=1. \sum_{i=1}^{n} \frac{w_i^2}{\sigma_i^2} = 1. i=1∑nσi2wi2=1.
这是一个中心在原点的标准超椭球方程。由此可直接读出：
- 主轴方向 ：为坐标轴方向u1,u2,...,un\boldsymbol{u}_1, \boldsymbol{u}_2, \ldots, \boldsymbol{u}_nu1,u2,...,un，即矩阵A\boldsymbol{A}A的左奇异向量方向。
- 半轴长度 ：沿主轴ui\boldsymbol{u}_iui方向的半轴长度为σi\sigma_iσi。
□\square□
对于ASn−1\boldsymbol{A}\mathbb{S}^{n-1}ASn−1这个像空间中的椭球，其主轴方向与A\boldsymbol{A}A的特征向量方向通常不一致。
只有当A\boldsymbol{A}A是对称矩阵 （或更一般地，正规矩阵）时，两者才会一致。
一、为什么通常不一致？
1. 椭球的主轴方向
由 SVD 证明，像空间椭球ASn−1\boldsymbol{A}\mathbb{S}^{n-1}ASn−1的主轴方向是左奇异向量 u1,u2,...,un\boldsymbol{u}_1, \boldsymbol{u}_2, \ldots, \boldsymbol{u}_nu1,u2,...,un。
左奇异向量满足
AA⊤ui=σi2ui, \boldsymbol{A}\boldsymbol{A}^\top \boldsymbol{u}_i = \sigma_i^2 \boldsymbol{u}_i, AA⊤ui=σi2ui,
即它们是矩阵AA⊤\boldsymbol{A}\boldsymbol{A}^\topAA⊤的特征向量，而不是A\boldsymbol{A}A本身的特征向量。
2. 矩阵A\boldsymbol{A}A的特征向量
矩阵A\boldsymbol{A}A的特征向量x\boldsymbol{x}x满足
Ax=λx, \boldsymbol{A} \boldsymbol{x} = \lambda \boldsymbol{x}, Ax=λx,
即特征向量在A\boldsymbol{A}A作用下方向不变（仅被缩放）。
二、两者的关系
左奇异向量ui\boldsymbol{u}_iui与右奇异向量vi\boldsymbol{v}_ivi之间有关系
Avi=σiui. \boldsymbol{A} \boldsymbol{v}_i = \sigma_i \boldsymbol{u}_i. Avi=σiui.
因此，左奇异向量ui\boldsymbol{u}_iui一般不是 A\boldsymbol{A}A的特征向量，除非满足特殊条件。
三、什么时候两者一致？
情形 1：A\boldsymbol{A}A为对称正定矩阵
若A=A⊤≻0\boldsymbol{A} = \boldsymbol{A}^\top \succ 0A=A⊤≻0，则 SVD 退化为特征分解：
A=UΛU⊤, \boldsymbol{A} = \boldsymbol{U} \boldsymbol{\varLambda} \boldsymbol{U}^\top, A=UΛU⊤,
此时左奇异向量ui=\boldsymbol{u}_i =ui=右奇异向量vi=\boldsymbol{v}_i =vi=特征向量。因此椭球主轴方向与A\boldsymbol{A}A的特征向量方向一致。
情形 2：A\boldsymbol{A}A为一般正规矩阵
若AA⊤=A⊤A\boldsymbol{A}\boldsymbol{A}^\top = \boldsymbol{A}^\top\boldsymbol{A}AA⊤=A⊤A（正规矩阵），则 SVD 与特征分解通过一个相位因子相联系。此时左奇异向量与特征向量方向一致，因此椭球主轴方向与A\boldsymbol{A}A的特征向量方向一致。
正规矩阵包括：对称矩阵、反对称矩阵、正交矩阵等。
情形 3：m≠nm \neq nm=n或A\boldsymbol{A}A非正规
此时左奇异向量与特征向量一般无直接关系，椭球主轴方向与A\boldsymbol{A}A的特征向量方向不一致。
原空间中∥x∥W\left\| \boldsymbol{x} \right\|_{\boldsymbol{W}}∥x∥W的等值面
固定常数c>0c > 0c>0，考虑原空间中∥x∥W\left\| \boldsymbol{x} \right\|_{\boldsymbol{W}}∥x∥W的等值面
E={x∈Rn:∥x∥W=x⊤Wx=c}. \mathcal{E} = \left\{ \boldsymbol{x} \in \mathbb{R}^n : \left\| \boldsymbol{x} \right\|_{\boldsymbol{W}} = \sqrt{\boldsymbol{x}^\top \boldsymbol{W} \boldsymbol{x}} = c \right\}. E={x∈Rn:∥x∥W=x⊤Wx =c}.
对于任意x∈Rn\boldsymbol{x} \in \mathbb{R}^nx∈Rn，有
∥Ax∥22=(Ax)⊤(Ax)=x⊤(A⊤A)x=x⊤Wx, \left\| \boldsymbol{A} \boldsymbol{x} \right\|_2^2 = \left( \boldsymbol{A} \boldsymbol{x} \right)^\top \left( \boldsymbol{A} \boldsymbol{x} \right) = \boldsymbol{x}^\top \left( \boldsymbol{A}^\top \boldsymbol{A} \right) \boldsymbol{x} = \boldsymbol{x}^\top \boldsymbol{W} \boldsymbol{x}, ∥Ax∥22=(Ax)⊤(Ax)=x⊤(A⊤A)x=x⊤Wx,
其中W=A⊤A≻0\boldsymbol{W} = \boldsymbol{A}^\top \boldsymbol{A} \succ 0W=A⊤A≻0为对称正定矩阵。
由于W=A⊤A=VΣU⊤UΣV⊤=VΣ2V⊤\boldsymbol{W} = \boldsymbol{A}^\top \boldsymbol{A} = \boldsymbol{V} \boldsymbol{\varSigma}\boldsymbol{U}^\top\boldsymbol{U} \boldsymbol{\varSigma} \boldsymbol{V}^\top = \boldsymbol{V} \boldsymbol{\varSigma}^2 \boldsymbol{V}^\topW=A⊤A=VΣU⊤UΣV⊤=VΣ2V⊤，其谱分解为
W=VΛV⊤, \boldsymbol{W} = \boldsymbol{V} \boldsymbol{\varLambda} \boldsymbol{V}^\top, W=VΛV⊤,
其中Λ=diag(λ1,λ2,...,λn)\boldsymbol{\varLambda} = \operatorname{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)Λ=diag(λ1,λ2,...,λn)，且
λi=σi2. \lambda_i = \sigma_i^2. λi=σi2.
由谱分解，令y=V⊤x\boldsymbol{y} = \boldsymbol{V}^\top \boldsymbol{x}y=V⊤x，则y=(y1,y2,...,yn)⊤\boldsymbol{y} = \left( y_1, y_2, \ldots, y_n \right)^\topy=(y1,y2,...,yn)⊤满足
x⊤Wx=y⊤Λy=c2 \boldsymbol{x}^\top \boldsymbol{W} \boldsymbol{x}= \boldsymbol{y}^\top \boldsymbol{\varLambda} \boldsymbol{y} = c^2 x⊤Wx=y⊤Λy=c2
即
∑i=1nλiyi2=c2, \sum_{i=1}^{n} \lambda_i y_i^2 = c^2, i=1∑nλiyi2=c2,
等价地
∑i=1nyi2(c/λi)2=1. \sum_{i=1}^{n} \frac{y_i^2}{\left(c/ \sqrt{\lambda_i} \right)^2} = 1. i=1∑n(c/λi )2yi2=1.
两个椭球的区分
关键说明 ：椭球ASn−1\boldsymbol{A} \mathbb{S}^{n-1}ASn−1与二次型等值面E\mathcal{E}E是不同空间中的不同几何对象。
| 几何对象 | 所在空间 | 主轴方向 | 半轴长度 |
|---|---|---|---|
| ASn−1\boldsymbol{A} \mathbb{S}^{n-1}ASn−1（定理结论） | 像空间Rm\mathbb{R}^mRm | 左奇异向量ui\boldsymbol{u}_iui | 奇异值σi\sigma_iσi |
| {x:∥x∥W=c}\left\{ \boldsymbol{x} : \lVert \boldsymbol{x} \rVert_{\boldsymbol{W}} = c \right\}{x:∥x∥W=c}（二次型等值面） | 原空间Rn\mathbb{R}^nRn | 右奇异向量vi\boldsymbol{v}_ivi | c/σi{c}/\sigma_ic/σi |
两者通过奇异值σi\sigma_iσi相互关联，体现了 SVD 在定义域和值域上的对偶几何解释：
- 原空间中的单位球面经A\boldsymbol{A}A映射，得到像空间中以σi\sigma_iσi为半轴的椭球；
- 原空间中的等值面∥x∥W=c\lVert \boldsymbol{x} \rVert_{\boldsymbol{W}} = c∥x∥W=c则是另一个椭球，其半轴为c/σi{c}/\sigma_ic/σi，主轴为右奇异向量。
总结
本文通过奇异值分解严格证明了：
- 单位球面在满秩线性变换下的像是一个超椭球面；
- 该椭球面的主轴方向由左奇异向量确定；
- 该椭球面的半轴长度由奇异值确定；
- 二次型表示x⊤A⊤Ax\boldsymbol{x}^\top \boldsymbol{A}^\top \boldsymbol{A} \boldsymbol{x}x⊤A⊤Ax描述的是原空间中的等值面，与像空间中的椭球是两个对偶但不同的几何对象。
这一结论在数值线性代数、最优化、机器学习及信号处理等领域均有广泛应用，是理解线性变换几何本质的基础定理。
参考文献
- Trefethen, L. N., & Bau, D. (1997). Numerical Linear Algebra. SIAM. Chapter 4.
- Horn, R. A., & Johnson, C. R. (2012). Matrix Analysis (2nd ed.). Cambridge University Press. Chapter 7.
- Strang, G. (2016). Introduction to Linear Algebra (5th ed.). Wellesley-Cambridge Press. Chapter 7.