【机器学习】 16. 降维:PCA-主成分分析 Principle Component Analysis

1. 高维会有什么问题?

  1. 慢的训练
  2. 不可靠的分类
  3. 过度拟合
  4. 构建可解释的模型是不可能的
  5. 可视化的问题
  6. 并不是所有的变量都很重要。

2. PCA

  1. PCA是最流行的降维方法
  2. 通常称为特征投影法。
  3. 其主要思想是找到一组新的维度,并将数据投射到其中。
    -更小的维度,捕捉数据的本质

主要思路:给定N个具有维度(m个特征)的例子

求:m个相互正交的新轴,使var(Z1) > var(Z2)...> var(Zm)

主分量是定义新坐标系的向量。

它们是根据它们捕获的方差来排序的

每个主成分都是原始特征的线性组合. 第一个主成分是使得数据方差最大的方向, 第二个主成分是与第一个主成分正交的条件下, 方差最大的方向, 依此类推...

确定降维数量

  1. 最小方差百分比
  2. 肘部法, Elbow Method. 绘制主成分的数量和累积方差图, 通常会在曲线上出现一个"肘点"

确定主成分

通过奇异值分解, Singular Value Decomposition, SVD确定PC. 它是一种标准的矩阵分解方法, 能够进行坐标系的变换

n x m的矩阵X可以分解成3个矩阵乘积:
X = U ∗ Λ ∗ V T X = U * Λ*V^T X=U∗Λ∗VT

U 是n x m的正交矩阵

(数据在新坐标系中的新坐标)(左奇异向量空间)

V^T是m x m正交矩阵V的转置

(右奇异向量空间)

Λ是一个m x m的对角矩阵包括奇异值

(在新坐标系中的尺度变化)

相关推荐
HuggingAI17 分钟前
stable diffusion文生图
人工智能·stable diffusion·ai绘画
云端奇趣22 分钟前
Stable Diffusion 绘画技巧分享,适合新手小白的技巧分享
人工智能·stable diffusion
Jurio.22 分钟前
【SPIE单独出版审核,见刊检索稳定!】2024年遥感技术与图像处理国际学术会议(RSTIP 2024,11月29-12月1日)
大数据·图像处理·人工智能·深度学习·机器学习·计算机视觉·学术会议
真的是我222 分钟前
基于MATLAB课程设计-图像处理完整版
图像处理·人工智能·计算机视觉·matlab
不脱发的牧码人27 分钟前
C#实现傅里叶变换算法
人工智能·算法·机器学习·c#·傅里叶分析
0x21127 分钟前
[论文阅读]BERT-based Lexical Substitution
论文阅读·人工智能·bert
云起无垠30 分钟前
【论文速读】| PathSeeker:使用基于强化学习的越狱攻击方法探索大语言模型的安全漏洞
人工智能·语言模型
goTsHgo31 分钟前
自然语言处理——Hugging Face 详解
人工智能·机器学习·自然语言处理
算家云40 分钟前
moffee模型部署教程
人工智能·python·github·markdown·nvidia·ppt·幻灯片制作
武子康1 小时前
大数据-208 数据挖掘 机器学习理论 - 岭回归 和 Lasso 算法 原理
大数据·人工智能·机器学习·数据挖掘·scikit-learn