奇异值分解SVD(singular value decomposition)

奇异值分解

SVD是一个很有用的矩阵因子化方法。

SVD提出的目的:任何一个 m × n m\times n m×n的矩阵都可以当作一个超椭圆(高维空间的椭圆),可以把它们当作单位球体S的像。

一个超椭圆可以通过将单位球型在正交方向 u 1 , u 2 , . . . , u m \mathbf{u_1},\mathbf{u_2},...,\mathbf{u_m} u1,u2,...,um通过缩放因子 σ 1 , . . . , σ m \sigma_1,..., \sigma_m σ1,...,σm,其中m是维度,如果在平面上m=2

通过上面这张图,可以做出下面的定义:

  1. singular value: σ 1 , . . . , σ n ≥ 0 \sigma_1,..., \sigma_n\geq 0 σ1,...,σn≥0一般假设 σ 1 ≥ σ 2 ≥ . . . \sigma_1 \geq \sigma_2 \geq ... σ1≥σ2≥...
  2. Light singular vectors: u 1 , u 2 , . . . , u n \mathbf{u_1},\mathbf{u_2},...,\mathbf{u_n} u1,u2,...,un,单位向量
  3. right singular vectors: v 1 , v 2 , . . . , v n \mathbf{v_1},\mathbf{v_2},...,\mathbf{v_n} v1,v2,...,vn是ui的逆向满足 A v i = σ i u i Av_i = \sigma_i u_i Avi=σiui
    这个名字中左和右来自svd的公式。
    把上面的公式矩阵化,可以得到:
    A V = U ^ Σ ^ AV = \hat U \hat \Sigma AV=U^Σ^
    在这里面
  4. Σ ^ ∈ R n × n \hat{\Sigma}\in\mathbb{R}^{n\times n} Σ^∈Rn×n是一个非负数对角矩阵
  5. U ^ ∈ R m × n \hat{U}\in\mathbb{R}^{m\times n} U^∈Rm×n是一个列正交矩阵
  6. V ∈ R n × n V\in\mathbb{R}^{n\times n} V∈Rn×n是一个列正交矩阵
    因此V是个正交矩阵,因为它是基向量,因此我们就可以得到reduced SVD:
    A = U ^ Σ ^ V T A = \hat U \hat \Sigma V^T A=U^Σ^VT
    正如QR分解一样,可以把扩充 U ^ \hat U U^的列使得 U ∈ R m × m U\in\mathbb{R}^{m\times m} U∈Rm×m
    然后需要给 Σ ^ \hat{\Sigma} Σ^添加一些为为0的行,使得可以沉默掉新添加到U中的随机列,这样就得到了完全SVD
    A = U Σ V T A = U \Sigma V^T A=UΣVT
    对比reduced和full

    现在重新考虑当时把球型变为超椭圆型的目的。
    1 V T V^T VT是球型S
    2 Σ \Sigma Σ拉伸球型得到椭球形
    3 U U U旋转投射而不改变形状

通过SVD可以知道一些矩阵性质

  1. A的秩为r,也就是非零奇异值的个数
    proof:U和V是满秩的,所以rank(A) = rank( Σ \Sigma Σ)
  2. image(A) = span{ u 1 , u 2 , . . . , u r \mathbf{u_1},\mathbf{u_2},...,\mathbf{u_r} u1,u2,...,ur}
    null(A) = span{ v r + 1 , . . . , v n \mathbf{v_{r+1}},...,\mathbf{v_n} vr+1,...,vn}
  3. ∣ ∣ A ∣ ∣ 2 = σ 1 ||A||_2=\sigma_1 ∣∣A∣∣2=σ1
    proof: ∣ ∣ A ∣ ∣ 2 ≡ m a x ∣ ∣ V ∣ ∣ 2 = 1 ||A||2 \equiv max{||V||_2=1} ∣∣A∣∣2≡max∣∣V∣∣2=1||Av||_2
  4. A的奇异值是AAT的特征值的平方根。
    根据上面的性质:可以知道SVD的两种应用

长方形矩阵的条件数

K ( A ) = ∣ ∣ A ∣ ∣ ∣ ∣ A + ∣ ∣ K(A)=||A||||A^+|| K(A)=∣∣A∣∣∣∣A+∣∣

其中 A + A^+ A+是伪逆

  • ∣ ∣ A ∣ ∣ 2 = σ m a x ||A||2 = \sigma{max} ∣∣A∣∣2=σmax
  • ∣ ∣ A + ∣ ∣ 2 = 1 σ m i n ||A^+||2 = \frac{1}{\sigma{min}} ∣∣A+∣∣2=σmin1
    所以 K ( A ) = σ m a x σ m i n K(A)=\frac{\sigma_{max}}{\sigma_{min}} K(A)=σminσmax

低秩近似

把SVD变为
A = ∑ j = 1 r σ j u j v j T A = \sum^r_{j=1}\sigma_j u_j v_j^T A=j=1∑rσjujvjT

每个 u j v j T u_j v_j^T ujvjT都是一个秩为1的矩阵

Theorem:

对于 0 ≤ v ≤ r 0\leq v \leq r 0≤v≤r,让 A v = ∑ j = 1 v σ j u j v j T Av = \sum^v_{j=1}\sigma_ju_jv_j^T Av=∑j=1vσjujvjT

所以
∣ ∣ A − A v ∣ ∣ 2 = inf ⁡ B ∈ R m × n , r a n k ( B ) ≤ v ∣ ∣ A − B ∣ ∣ 2 ||A-Av||2 = \inf{B\in \mathbb{R}^{m\times n}, rank(B)\leq v}{||A-B||_2} ∣∣A−Av∣∣2=B∈Rm×n,rank(B)≤vinf∣∣A−B∣∣2

同样的也可以在Frobenius norm中证明,这个理论说明SVD是压缩矩阵的一个好的方法。

相关推荐
志-AOX3 分钟前
Web开发技术栈选择指南
经验分享
脱脱克克1 小时前
中国科学院大学研究生学术英语读写教程 Unit7 Materials Science TextA 原文和翻译
经验分享·学术英语
狮子座的男孩2 小时前
VSCode 使用教程:项目使用配置、使用哪些插件、Live Server使用问题及解决方案(你想要的,都在这里)
经验分享·vscode·编辑器·配置·插件·live server·问题解决方案
Tianyanxiao10 小时前
【探商宝】大数据获客平台在销售型企业中的应用
大数据·经验分享·科技·数据分析
2403_8894616819 小时前
智控水利:道品科技农业灌区自动化闸门引领农业灌溉新变革
大数据·网络·人工智能·经验分享·科技·自动化·云计算
樱花DR21 小时前
mfc100u.dll 文件损坏问题:一步步解决法
windows·经验分享
志-AOX1 天前
使用经典的Java,还是拥抱新兴的Rust?
经验分享
布说在见1 天前
我的创作之路:机缘、收获、日常与未来的憧憬
经验分享·笔记
LaoZhangGong1232 天前
Linux第95步_Linux内核中的INPUT子系统
linux·运维·数据库·经验分享·stm32·input·stm32mp127
努力的小雨2 天前
一文详解:项目如何从Docker慢慢演变成了K8s部署
经验分享