【机器学习】 16. 降维:PCA-主成分分析 Principle Component Analysis

1. 高维会有什么问题?

  1. 慢的训练
  2. 不可靠的分类
  3. 过度拟合
  4. 构建可解释的模型是不可能的
  5. 可视化的问题
  6. 并不是所有的变量都很重要。

2. PCA

  1. PCA是最流行的降维方法
  2. 通常称为特征投影法。
  3. 其主要思想是找到一组新的维度,并将数据投射到其中。
    -更小的维度,捕捉数据的本质

主要思路:给定N个具有维度(m个特征)的例子

求:m个相互正交的新轴,使var(Z1) > var(Z2)...> var(Zm)

主分量是定义新坐标系的向量。

它们是根据它们捕获的方差来排序的

每个主成分都是原始特征的线性组合. 第一个主成分是使得数据方差最大的方向, 第二个主成分是与第一个主成分正交的条件下, 方差最大的方向, 依此类推...

确定降维数量

  1. 最小方差百分比
  2. 肘部法, Elbow Method. 绘制主成分的数量和累积方差图, 通常会在曲线上出现一个"肘点"

确定主成分

通过奇异值分解, Singular Value Decomposition, SVD确定PC. 它是一种标准的矩阵分解方法, 能够进行坐标系的变换

n x m的矩阵X可以分解成3个矩阵乘积:
X = U ∗ Λ ∗ V T X = U * Λ*V^T X=U∗Λ∗VT

U 是n x m的正交矩阵

(数据在新坐标系中的新坐标)(左奇异向量空间)

V^T是m x m正交矩阵V的转置

(右奇异向量空间)

Λ是一个m x m的对角矩阵包括奇异值

(在新坐标系中的尺度变化)

相关推荐
youcans_10 分钟前
【微软:多模态基础模型】(5)多模态大模型:通过LLM训练
人工智能·计算机视觉·大模型·大语言模型·多模态
飞凌嵌入式13 分钟前
飞凌嵌入式T113-i开发板RISC-V核的实时应用方案
人工智能·嵌入式硬件·嵌入式·risc-v·飞凌嵌入式
sinovoip15 分钟前
Banana Pi BPI-CanMV-K230D-Zero 采用嘉楠科技 K230D RISC-V芯片设计
人工智能·科技·物联网·开源·risc-v
谢眠28 分钟前
深度学习day3-自动微分
python·深度学习·机器学习
搏博37 分钟前
神经网络问题之一:梯度消失(Vanishing Gradient)
人工智能·机器学习
z千鑫37 分钟前
【人工智能】深入理解PyTorch:从0开始完整教程!全文注解
人工智能·pytorch·python·gpt·深度学习·ai编程
YRr YRr1 小时前
深度学习:神经网络的搭建
人工智能·深度学习·神经网络
威桑1 小时前
CMake + mingw + opencv
人工智能·opencv·计算机视觉
爱喝热水的呀哈喽1 小时前
torch张量与函数表达式写法
人工智能·pytorch·深度学习
rellvera1 小时前
【强化学习的数学原理】第02课-贝尔曼公式-笔记
笔记·机器学习