特征值,特征向量,SVD分解,PCD分解

特征值,特征向量:

对于n阶方阵A,在A张成的空间里,存在非零向量v, 该向量转换到A张成的空间时,方向不变,大小变为λ倍。

① Av = λv

变换一下:

② (A - λI)v = 0

对于A向量,特征向量存在非零解的充要条件是下面的行列式值为0:

det(A - λI) = 0

计算出特征值λ。

λ可能有多个值,分别将每个值代入公式②,计算向量v,v是个表达式,也就是可以是多个向量。

向量v只会被伸缩而不会改变方向。代入任意一个值,得到一个特征值λ的特征向量v。

  • 特征值性质:

特征值λ相加 = 矩阵迹相加

特征值λ相乘 = 矩阵的行列式

A矩阵的特征值分解:

其中W为特征向量组成的矩阵,Σ为对应特征值组成的对角矩阵


主成分分析 PCA

主成分可以看作是数据的新坐标系中的基向量,将原始数据投影到这些主成分上,可以实现数据降维。

步骤:

  1. 将原点放到数据的中心位置。
  2. 找到方差最大的方向

也就是:先将坐标轴的原点移动到数据的中心,再将坐标系旋转到方差最大的方向。这样大多数数据被压缩到一个低维度的X轴上。

关键步骤是找到方差最大的方向,假设手里的数据是D',符合正态分布的数据是D:

手上的数据D'的协方差:

找出旋转矩阵R就可以知道坐标轴应该旋转的角度

将C'进行特征分解得到:

C' = WΣW(-1)

可见R = W

W为C'的特征向量组成的矩阵。

L值为特征值组成的矩阵,为S矩阵在两个方向拉伸倍数的平方,为旋转后的坐标系下,数据的方差。此时在该坐标系下方差最小。


奇异值分解 SVD

任意一个形状的矩阵M,可以分解成如下的形式:

  • M 的形状为m*n,U的形状为m*m的方阵,V为n*n的方阵,Σ为m*n形状矩阵。
  • U 是 得到的结果矩阵的特征向量组成的m*m的方阵
  • Σ对角为奇异值,该值的平方等于特征值,而且依次从大到小排列。
  • V 是 得到的结果矩阵的特征向量组成的n*n的方阵,公式用的是其转置,numpy中提供的函数:np.linalg.svd(),给出的结果也是转置后的结果。
    V也是PCA主成分的方向
  • U和V都是酉矩阵,即满足:

求解步骤:

相关推荐
Kaltistss几秒前
98.验证二叉搜索树
算法·leetcode·职场和发展
知己如祭4 分钟前
图论基础(DFS、BFS、拓扑排序)
算法
聽雨23710 分钟前
03每日简报20250705
人工智能·社交电子·娱乐·传媒·媒体
mit6.82413 分钟前
[Cyclone] 哈希算法 | SIMD优化哈希计算 | 大数运算 (Int类)
算法·哈希算法
c++bug16 分钟前
动态规划VS记忆化搜索(2)
算法·动态规划
哪 吒18 分钟前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
二川bro29 分钟前
飞算智造JavaAI:智能编程革命——AI重构Java开发新范式
java·人工智能·重构
acstdm34 分钟前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
澪-sl1 小时前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
军训猫猫头1 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net