机器学习-无监督算法之降维

  • 降维:将训练数据中的样本从高维空间转换到低维空间,降维是对原始数据线性变换实现的。
  • 为什么要降维?高维计算难,泛化能力差,防止维数灾难
  • 优点:减少冗余特征,方便数据可视化,减少内存。
  • 缺点:可能丢失数据,需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个,对角矩阵起到拉伸作用,正交矩阵起到旋转作用。
  • A = UΣVT:U和V为正交矩阵,Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值,然后开放得到奇异值 构成对角矩阵Σ

  • 应用:节省存储空间,降维,图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵,它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差,其余代表相关性
  2. 缺点:分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维,然后按照高纬度和低纬度相似度的差异,设计损失函数,用梯度下降来优化


常见降维算法

相关推荐
程序员Linc7 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
ゞ 正在缓冲99%…8 分钟前
leetcode76.最小覆盖子串
java·算法·leetcode·字符串·双指针·滑动窗口
xuanjiong8 分钟前
纯个人整理,蓝桥杯使用的算法模板day2(0-1背包问题),手打个人理解注释,超全面,且均已验证成功(附带详细手写“模拟流程图”,全网首个
算法·蓝桥杯·动态规划
xcLeigh15 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能18 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_7978820927 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
惊鸿.Jh28 分钟前
【滑动窗口】3254. 长度为 K 的子数组的能量值 I
数据结构·算法·leetcode
明灯L28 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
果冻人工智能29 分钟前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
databook29 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn