12.1 主成分分析原理(PCA)

主成分分析步骤如下:

设有维数据

  1. 将原始数据按列组成列矩阵

  2. 将矩阵 的每一行进行零均值化;

  3. 求出协方差矩阵

  4. 求出协方差矩阵的特征值及对应的特征向量;

  5. 将特征向量按对应特征值大小从上到下按行排列成矩阵,取前行组成矩阵

  6. 即为降维到维后的数据。

如果对线性代数的实对成矩阵的相似对角化熟悉的人可以很好的了解上面的步骤,根据线性代数的求解步骤如下(也可以是代码步骤,python的np有求解方法):

  1. 将原始数据按列组成列矩阵

  2. 将矩阵 的每一行进行零均值化;

这里的每一行零均值化就是每一行的元素减去该行的均值,均值可以用np.mean()求解。

3.求出协方差矩阵;这个矩阵实际上就是实对称矩阵。

4.求出协方差矩阵的特征值及对应的特征向量;

这里其实就是对实对称矩阵相似对角化,在相似对角化的过程中会得到特征值和对应的特征向量,得到的对角矩阵的对角线上的元素就是特征值,对角线以外的元素都为0。(当然,要对这组特征向量进行正交化,因为我们最终要的是正交向量,如果在这里不求,也可以在最后一步求个向量的正交向量,计算量肯定比现在求小,因为现在要求个向量,而最后只需要求个)。

  1. 将特征向量按对应特征值大小从上到下按行排列成矩阵,取前行组成矩阵

6.这里就是对特征值做从大到小的排序,可以用np.sorted()函数排序。

7.然后根据排序取前行的向量组成一个新的矩阵。

相关推荐
DASXSDW4 分钟前
NET性能优化-使用RecyclableBuffer取代RecyclableMemoryStream
java·算法·性能优化
听到微笑8 分钟前
LLM 只会生成文本?用 ReAct 模式手搓一个简易 Claude Code Agent
人工智能·langchain·llm
kfepiza10 分钟前
CAS (Compare and Swap) 笔记251007
java·算法
沐雪架构师16 分钟前
让 Agent 说“机器能懂的话”——LlamaIndex 构建 Agent 的结构化输出策略
人工智能
Elastic 中国社区官方博客19 分钟前
在 Elasticsearch 中改进 Agentic AI 工具的实验
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
AI数据皮皮侠38 分钟前
中国地级市旅游人数、收入数据(2000-2023年)
大数据·人工智能·python·深度学习·机器学习·旅游
墨染点香39 分钟前
LeetCode 刷题【103. 二叉树的锯齿形层序遍历、104. 二叉树的最大深度、105. 从前序与中序遍历序列构造二叉树】
算法·leetcode·职场和发展
mooooon L44 分钟前
DAY 43 复习日-2025.10.7
人工智能·pytorch·python·深度学习·神经网络
啊我不会诶1 小时前
23ICPC澳门站补题
算法·深度优先·图论
zzywxc7871 小时前
AI 在金融、医疗、教育、制造业等领域都有广泛且深入的应用,以下是这些领域的一些落地案例
人工智能·金融·自动化·prompt·ai编程·xcode