【机器学习】 16. 降维:PCA-主成分分析 Principle Component Analysis

1. 高维会有什么问题?

  1. 慢的训练
  2. 不可靠的分类
  3. 过度拟合
  4. 构建可解释的模型是不可能的
  5. 可视化的问题
  6. 并不是所有的变量都很重要。

2. PCA

  1. PCA是最流行的降维方法
  2. 通常称为特征投影法。
  3. 其主要思想是找到一组新的维度,并将数据投射到其中。
    -更小的维度,捕捉数据的本质

主要思路:给定N个具有维度(m个特征)的例子

求:m个相互正交的新轴,使var(Z1) > var(Z2)...> var(Zm)

主分量是定义新坐标系的向量。

它们是根据它们捕获的方差来排序的

每个主成分都是原始特征的线性组合. 第一个主成分是使得数据方差最大的方向, 第二个主成分是与第一个主成分正交的条件下, 方差最大的方向, 依此类推...

确定降维数量

  1. 最小方差百分比
  2. 肘部法, Elbow Method. 绘制主成分的数量和累积方差图, 通常会在曲线上出现一个"肘点"

确定主成分

通过奇异值分解, Singular Value Decomposition, SVD确定PC. 它是一种标准的矩阵分解方法, 能够进行坐标系的变换

n x m的矩阵X可以分解成3个矩阵乘积:
X = U ∗ Λ ∗ V T X = U * Λ*V^T X=U∗Λ∗VT

U 是n x m的正交矩阵

(数据在新坐标系中的新坐标)(左奇异向量空间)

V^T是m x m正交矩阵V的转置

(右奇异向量空间)

Λ是一个m x m的对角矩阵包括奇异值

(在新坐标系中的尺度变化)

相关推荐
lilye661 小时前
精益数据分析(17/126):精益画布与创业方向抉择
大数据·数据挖掘·数据分析
乌旭1 小时前
量子计算与GPU的异构加速:基于CUDA Quantum的混合编程实践
人工智能·pytorch·分布式·深度学习·ai·gpu算力·量子计算
deephub3 小时前
CLIMB自举框架:基于语义聚类的迭代数据混合优化及其在LLM预训练中的应用
人工智能·深度学习·大语言模型·聚类
思通数科AI全行业智能NLP系统4 小时前
AI视频技术赋能幼儿园安全——教师离岗报警系统的智慧守护
大数据·人工智能·安全·目标检测·目标跟踪·自然语言处理·ocr
struggle20255 小时前
deepseek-cli开源的强大命令行界面,用于与 DeepSeek 的 AI 模型进行交互
人工智能·开源·自动化·交互·deepseek
ocr_sinosecu16 小时前
OCR定制识别:解锁文字识别的无限可能
人工智能·机器学习·ocr
奋斗者1号6 小时前
分类数据处理全解析:从独热编码到高维特征优化
人工智能·机器学习·分类
契合qht53_shine6 小时前
深度学习 视觉处理(CNN) day_02
人工智能·深度学习·cnn
学渣676566 小时前
【10分钟读论文】Power Transmission Line Inspections电力视觉水文
机器学习
就叫飞六吧6 小时前
如何判断你的PyTorch是GPU版还是CPU版?
人工智能·pytorch·python