12.1 主成分分析原理(PCA)

主成分分析步骤如下:

设有条维数据

  1. 将原始数据按列组成行列矩阵 ;

  2. 将矩阵 的每一行进行零均值化;

  3. 求出协方差矩阵;

  4. 求出协方差矩阵的特征值及对应的特征向量;

  5. 将特征向量按对应特征值大小从上到下按行排列成矩阵,取前行组成矩阵 ;

  6. 即为降维到维后的数据。

如果对线性代数的实对成矩阵的相似对角化熟悉的人可以很好的了解上面的步骤,根据线性代数的求解步骤如下(也可以是代码步骤,python的np有求解方法):

  1. 将原始数据按列组成行列矩阵 ;

  2. 将矩阵 的每一行进行零均值化;

这里的每一行零均值化就是每一行的元素减去该行的均值,均值可以用np.mean()求解。

3.求出协方差矩阵;这个矩阵实际上就是实对称矩阵。

4.求出协方差矩阵的特征值及对应的特征向量;

这里其实就是对实对称矩阵相似对角化,在相似对角化的过程中会得到特征值和对应的特征向量,得到的对角矩阵的对角线上的元素就是特征值,对角线以外的元素都为0。(当然,要对这组特征向量进行正交化,因为我们最终要的是正交向量,如果在这里不求,也可以在最后一步求个向量的正交向量,计算量肯定比现在求小,因为现在要求个向量,而最后只需要求个)。

  1. 将特征向量按对应特征值大小从上到下按行排列成矩阵,取前行组成矩阵 ;

6.这里就是对特征值做从大到小的排序,可以用np.sorted()函数排序。

7.然后根据排序取前行的向量组成一个新的矩阵。

相关推荐
知行产研16 分钟前
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026
大数据·人工智能
谙弆悕博士27 分钟前
从“预测下一个词”到“预测世界下一状态”:世界模型是不是下一个AGI叙事?
人工智能·gpt·深度学习·神经网络·agi·jepa·genie 4
敖老师29 分钟前
企业知识库 × 飞书机器人 —— 从 0 到 1 接入
人工智能
AI前端工程狮34 分钟前
我给 MCP 长任务做了持久化,结果造出一堆僵尸
人工智能·程序员
黑科技iOS上架1 小时前
iOS游戏换皮上架困境:4.3同质化拒审
人工智能·ios·审核
咕泡科技1 小时前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习
Java后端的Ai之路1 小时前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
oil欧哟1 小时前
AI 编程与写作高效工作流:语音输入、反问采访与多话题并行
人工智能
翰墨之道1 小时前
黄仁勋回归传闻升温:英伟达领导层风波牵动AI产业
人工智能·数据挖掘·回归
天天代码码天天1 小时前
把闲置电脑变成家庭照片备份站:开源 lw.HomeNAS v1.5.0 发布
人工智能