机器学习-无监督算法之降维

  • 降维:将训练数据中的样本从高维空间转换到低维空间,降维是对原始数据线性变换实现的。
  • 为什么要降维?高维计算难,泛化能力差,防止维数灾难
  • 优点:减少冗余特征,方便数据可视化,减少内存。
  • 缺点:可能丢失数据,需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个,对角矩阵起到拉伸作用,正交矩阵起到旋转作用。
  • A = UΣVT:U和V为正交矩阵,Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值,然后开放得到奇异值 构成对角矩阵Σ

  • 应用:节省存储空间,降维,图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵,它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差,其余代表相关性
  2. 缺点:分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维,然后按照高纬度和低纬度相似度的差异,设计损失函数,用梯度下降来优化


常见降维算法

相关推荐
Code_流苏5 分钟前
AI知识补全(十四):零样本学习与少样本学习是什么?
人工智能·元学习·少样本学习·零样本学习·语义嵌入
Yvette-W8 分钟前
ChatGPT 迎来 4o模型:更强大的图像生成能力与潜在风险
人工智能·chatgpt
Shockang8 分钟前
机器学习的一百个概念(5)数据增强
人工智能·机器学习
洁洁!11 分钟前
数据采集助力AI大模型训练
前端·人工智能·easyui
平平无奇科研小天才18 分钟前
scGPT环境安装
人工智能
君义_noip20 分钟前
信息学奥赛一本通 1524:旅游航道
c++·算法·图论·信息学奥赛
xcLeigh25 分钟前
计算机视觉入门:从像素到理解的旅程
人工智能·python·opencv·计算机视觉
烁34729 分钟前
每日一题(小白)动态规划篇5
算法·动态规划
独好紫罗兰30 分钟前
洛谷题单2-P5717 【深基3.习8】三角形分类-python-流程图重构
开发语言·python·算法
滴答滴答嗒嗒滴36 分钟前
Python小练习系列 Vol.8:组合总和(回溯 + 剪枝 + 去重)
python·算法·剪枝