机器学习-无监督算法之降维

  • 降维:将训练数据中的样本从高维空间转换到低维空间,降维是对原始数据线性变换实现的。
  • 为什么要降维?高维计算难,泛化能力差,防止维数灾难
  • 优点:减少冗余特征,方便数据可视化,减少内存。
  • 缺点:可能丢失数据,需要确定保留多少主成分

奇异值分解

  • 把一个矩阵拆成三个,对角矩阵起到拉伸作用,正交矩阵起到旋转作用。
  • A = UΣVT:U和V为正交矩阵,Σ为对角矩阵

Created with Raphaël 2.3.0 开始 M = UΣV^T 求M^TM的特征向量得到V 求MM^T的特征向量得到U 求M^TM或MM^T的特征值,然后开放得到奇异值 构成对角矩阵Σ

  • 应用:节省存储空间,降维,图片压缩

主成分分析

  1. PCA识别在训练集中占方差最大的轴
  2. 步骤
  • Z值化
  • 计算协方差矩阵,它的特征向量就是主成分
    • 利用SVD求特征向量
    • 基于特征值求特征向量
  1. 对角矩阵代表方差,其余代表相关性
  2. 缺点:分类问题效果不好

t-SNE

  1. 归一化
  2. 计算在二维空间中数据的相似度
  3. 将二维随机映射到一维,然后按照高纬度和低纬度相似度的差异,设计损失函数,用梯度下降来优化


常见降维算法

相关推荐
tellmewhoisi20 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟21 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y30 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
漂流瓶jz38 分钟前
UVA-1615 高速公路 题解答案代码 算法竞赛入门经典第二版
数据结构·算法·贪心算法·贪心·aoapc·算法竞赛入门经典·uva
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源2 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔2 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang2 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
凌冰_11 小时前
数据结构 - 时间空间复杂度(一)
数据结构·算法·软件工程