机器学习-无监督算法之降维

  • 降维:将训练数据中的样本从高维空间转换到低维空间,降维是对原始数据线性变换实现的。
  • 为什么要降维?高维计算难,泛化能力差,防止维数灾难
  • 优点:减少冗余特征,方便数据可视化,减少内存。
  • 缺点:可能丢失数据,需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个,对角矩阵起到拉伸作用,正交矩阵起到旋转作用。
  • A = UΣVT:U和V为正交矩阵,Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值,然后开放得到奇异值 构成对角矩阵Σ

  • 应用:节省存储空间,降维,图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵,它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差,其余代表相关性
  2. 缺点:分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维,然后按照高纬度和低纬度相似度的差异,设计损失函数,用梯度下降来优化


常见降维算法

相关推荐
Msshu1231 小时前
PD快充诱骗协议芯片XSP25支持PD+QC+FCP+SCP+AFC协议支持通过串口读取充电器功率信息
人工智能
一RTOS一3 小时前
东土科技连投三家核心企业 发力具身机器人领域
人工智能·科技·机器人·具身智能·鸿道实时操作系统·国产嵌入式操作系统选型
坚持编程的菜鸟3 小时前
LeetCode每日一题——困于环中的机器人
c语言·算法·leetcode·机器人
ACP广源盛139246256734 小时前
(ACP广源盛)GSV1175---- MIPI/LVDS 转 Type-C/DisplayPort 1.2 转换器产品说明及功能分享
人工智能·音视频
Aurorar0rua4 小时前
C Primer Plus Notes 09
java·c语言·算法
胡耀超4 小时前
隐私计算技术全景:从联邦学习到可信执行环境的实战指南—数据安全——隐私计算 联邦学习 多方安全计算 可信执行环境 差分隐私
人工智能·安全·数据安全·tee·联邦学习·差分隐私·隐私计算
停停的茶6 小时前
深度学习(目标检测)
人工智能·深度学习·目标检测
Y200309166 小时前
基于 CIFAR10 数据集的卷积神经网络(CNN)模型训练与集成学习
人工智能·cnn·集成学习
老兵发新帖6 小时前
主流神经网络快速应用指南
人工智能·深度学习·神经网络
AI量化投资实验室7 小时前
15年122倍,年化43.58%,回撤才20%,Optuna机器学习多目标调参backtrader,附python代码
人工智能·python·机器学习