奇异值分解SVD

文章目录

    • 奇异值是什么?
      • [1 奇异值的定义](#1 奇异值的定义)
      • [2 奇异值的性质](#2 奇异值的性质)
      • [3 特征值与奇异值的关系](#3 特征值与奇异值的关系)
      • [4 奇异值的重要性](#4 奇异值的重要性)
    • 奇异值分解

奇异值是什么?

1 奇异值的定义

对于任意一个 m × n m \times n m×n 的矩阵 A A A,存在三个矩阵 U U U, V V V和 Σ \Sigma Σ使得:
A = U Σ V T A=U\Sigma V^T A=UΣVT

其中:

  • U ∈ R m × m U \in R^{m\times m} U∈Rm×m 称为左奇异矩阵
  • V ∈ R n × n V \in R^{n\times n} V∈Rn×n 称为右奇异矩阵
  • Σ ∈ R m × n \Sigma \in R^{m\times n} Σ∈Rm×n 是对角矩阵,对角线的元素是非负实数,按降序排列,这些值称为奇异值

U U U 和 V V V 均为单位正交阵(即 U U T = I UU^T=I UUT=I 和 V V T = I VV^T=I VVT=I )。

2 奇异值的性质

1、非负性 :奇异值始终为非负数,即对角矩阵 Σ \Sigma Σ的对角元素均为非负。

2、奇异值的数量 :对于一个 m × n m \times n m×n 的矩阵 A A A,最多有 m i n ( m , n ) min(m,n) min(m,n)个奇异值。

3、矩阵的秩 :矩阵 A A A 的秩等于其非零奇异值的数量。

4、不变性:奇异值是矩阵的固有属性,与矩阵的旋转或变换无关。

3 特征值与奇异值的关系

奇异值与特征值都描述了一个矩阵的一些特征。

矩阵乘法的几何意义

矩阵乘法对应一个变换,是把任意一个向量变成另一个方向或长度的新向量,在这个过程中,原向量主要发生旋转伸缩的变化。

  • 特征值 :如果存在向量 v v v,使得 A v = λ v Av=\lambda v Av=λv,则 λ \lambda λ 是矩阵 A A A 的特征值 , v v v 是对应的特征向量
    • 特征值分解: A = Q Σ Q − 1 A=Q\Sigma Q^{-1} A=QΣQ−1
      • Q Q Q是矩阵A的特征向量组成的矩阵, Σ \Sigma Σ为对角阵,每一个对角线元素就是一个特征值。
    • 特征值表示的是这个特征到底有多重要,而特征向量表示这个特征是什么。
  • 局限矩阵A必须是方阵

特征值与特征向量的几何意义

如果矩阵对某些向量只发生伸缩变换,不产生旋转效果 ,那么这些向量就称为这个矩阵的特征向量 ,伸缩的比例就是特征值

例如:M = [ 3 0 0 1 ] \begin{bmatrix} 3&0 \\ 0&1 \end{bmatrix} [3001],对应的线性变换是如下形式,因为M乘以一个向量 ( x , y ) (x,y) (x,y)的结果是 [ 3 0 0 1 ] [ x y ] = [ 3 x y ] \begin{bmatrix}3&0\\0&1\end{bmatrix} \begin{bmatrix}x\\y\end{bmatrix} =\begin{bmatrix}3x\\y\end{bmatrix} [3001][xy]=[3xy].

  • 奇异值 :如果存在单位正交矩阵 U U U 和 V V V,使得 A = U Σ V T A=U\Sigma V^T A=UΣVT,其中 Σ \Sigma Σ为对角矩阵,对角线上的值被称为奇异值 , U U U 和 V V V 分别被称为左奇异矩阵和右奇异矩阵。
    • 可以描述普通矩阵(不一定是方阵)的重要特征。
    • 与特征值的对应关系:
      • ( A T A ) v i = λ i v i (A^TA)v_i = \lambda_i v_i (ATA)vi=λivi ,这里V就是右奇异向量。
      • σ i = λ i \sigma_i = \sqrt{\lambda_i} σi=λi
      • u i = 1 σ i A v i u_i = \frac{1}{\sigma_i} Av_i ui=σi1Avi ,这里U就是左奇异向量。
  • 奇异值跟特征值类似,但其减少的特别快,很多情况下,前10%甚至前1%的奇异值的和就占了全部的奇异值之和的99%以上了

形象理解

对于矩阵 A = [ 1 1 3 1 3 1 ] A = \begin{bmatrix} 1&\frac{1}{3}\\ \frac{1}{3}&1 \end{bmatrix} A=[131311],单位圆被变换为椭圆,特征向量 是所有向量中经过变换(A)后,方向不变的向量

但是,特征向量不变的方向并不能保证是拉伸效果最大的方向 ,而这是奇异值向量的方向 。单位圆变换为椭圆,奇异向量对应椭圆的半长轴,不同于特征值方向。

也就是说,

  • 特征向量描述的是矩阵的方向不变作用的向量
  • 奇异向量描述的是矩阵最大作用的方向向量

4 奇异值的重要性

奇异值的重要性在于,它们描述了矩阵 A A A在不同方向上能够拉伸(或压缩)空间的能力。

  • 最大的奇异值对应着矩阵在最重要的方向上的最大拉伸效果,通常与矩阵的主要信息或能量相关联。
  • 较小的奇异值可能表示噪声或数据中的微弱模式。
  • 奇异值为零意味着在相应的方向上矩阵的作用是完全压缩的,这与矩阵的秩有关,矩阵的秩等于非零奇异值的数量。

奇异值分解

奇异值分解有广泛的应用,通过保留较大的奇异值而忽略较小的奇异值,可以在减少数据维度的同时尽量保持数据的主要结构,达到数据降维和去噪的目的。

对于 A = U Σ V T A=U\Sigma V^T A=UΣVT,可以理解为:

  • V T V^T VT:旋转(正交矩阵)
  • Σ \Sigma Σ:缩放或拉伸(对角矩阵)
  • U U U:旋转(正交矩阵)

也就是说,任何矩阵变换总可以看成旋转+缩放或拉伸+旋转的过程。那么对于拉伸效果最大的判断,就取决于 Σ \Sigma Σ矩阵中最大的奇异值。

关于具体的SVD证明及求法,可参考奇异值分解(SVD)的定义、证明、求法.

相关推荐
Honeysea_701 小时前
容器的定义及工作原理
人工智能·深度学习·机器学习·docker·ai·持续部署
大千AI助手2 小时前
梯度消失问题:深度学习中的「记忆衰退」困境与解决方案
人工智能·深度学习·神经网络·梯度·梯度消失·链式法则·vanishing
研梦非凡3 小时前
CVPR 2025|无类别词汇的视觉-语言模型少样本学习
人工智能·深度学习·学习·语言模型·自然语言处理
max5006003 小时前
本地部署开源数据生成器项目实战指南
开发语言·人工智能·python·深度学习·算法·开源
一颗20213 小时前
深度解读:PSPNet(Pyramid Scene Parsing Network) — 用金字塔池化把“场景理解”装进分割网络
人工智能·深度学习·计算机视觉
hallo1284 小时前
学习机器学习能看哪些书籍
人工智能·深度学习·机器学习
中國龍在廣州4 小时前
哈工大提出空间机器人复合框架,突破高精度轨迹跟踪
人工智能·深度学习·机器学习·计算机视觉·机器人
豆浩宇6 小时前
学习PaddlePaddle--环境配置-Windows 11 + RTX 4060
人工智能·windows·深度学习·学习·目标检测·计算机视觉·paddlepaddle
qq_339191146 小时前
深度学习玩游戏, 模型玩游戏,大模型+游戏 llm+game, 机器学习玩游戏,人工智能游戏陪伴,模型陪玩游戏
人工智能·深度学习·玩游戏
WangYan20227 小时前
MATLAB 2023a深度学习工具箱全面解析:从CNN、RNN、GAN到YOLO与U-Net,涵盖模型解释、迁移学习、时间序列预测与图像生成的完整实战指南
深度学习·matlab·matlab 2023a