机器学习-无监督算法之降维

  • 降维:将训练数据中的样本从高维空间转换到低维空间,降维是对原始数据线性变换实现的。
  • 为什么要降维?高维计算难,泛化能力差,防止维数灾难
  • 优点:减少冗余特征,方便数据可视化,减少内存。
  • 缺点:可能丢失数据,需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个,对角矩阵起到拉伸作用,正交矩阵起到旋转作用。
  • A = UΣVT:U和V为正交矩阵,Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值,然后开放得到奇异值 构成对角矩阵Σ

  • 应用:节省存储空间,降维,图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵,它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差,其余代表相关性
  2. 缺点:分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维,然后按照高纬度和低纬度相似度的差异,设计损失函数,用梯度下降来优化


常见降维算法

相关推荐
深圳市快瞳科技有限公司几秒前
当OCR遇上“幻觉”:如何让AI更靠谱地“看懂”文字?
人工智能·ai·ocr
每天都要写算法(努力版)2 分钟前
【神经网络与深度学习】训练集与验证集的功能解析与差异探究
人工智能·深度学习·神经网络
爱研究的小陈3 分钟前
Day 4:机器学习初探——从监督学习到无监督学习
机器学习
vocal21 分钟前
谷歌第七版Prompt Engineering—第一部分
人工智能
MonkeyKing_sunyuhua22 分钟前
5.6 Microsoft Semantic Kernel:专注于将LLM集成到现有应用中的框架
人工智能·microsoft·agent
arbboter30 分钟前
【AI插件开发】Notepad++ AI插件开发1.0发布和使用说明
人工智能·大模型·notepad++·ai助手·ai插件·aicoder·notepad++插件开发
BB_CC_DD30 分钟前
四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
深度学习·算法·聚类
IT_Octopus42 分钟前
AI工程pytorch小白TorchServe部署模型服务
人工智能·pytorch·python
果冻人工智能1 小时前
AI军备竞赛:我们是不是正在造一个无法控制的神?
人工智能