模式识别与机器学习 | 第九章 降维

降维/嵌入 ---非监督学习

原始的高维映射到地维空间

降维方法:维度选择、维度抽选

维度选择:选择已有维度的一个子集 (D维 ->K维)
JL定理:D维 近似等距的嵌入 K维

优点:简单、流行,有比较好的泛化性能

缺点:没有精度保证

  • 手工移除特征:冗余的、不相关的、质量差的

监督方法:过滤式选择、包裹式选择、嵌入式选择

  • 过滤式选择

设计一个**相关统计量(单个特征与标签之间的相关系数。互信息)**来度量特征的重要性

优点:根据单个特征和目标之间的统计分值选择特征值,速度快

缺点:没考虑特征间的关系

  • 包裹式选择

用最终的学习器性能评价特征的重要性

前向:从0开始一遍式/迭代式地选择;后向:所有特征训练一个模型,得到特征重要性;每次删除最不重要的特征

删除/增加特征,需要进行模型性能监控

  • 嵌入式选择

嵌入式维度选择与模型训练一起完成

基于树模型的特征选择

基于L1正则的特征选择

维度抽选:组合已有的维度构建新的维度

特征分解

输入矩阵AM×N; Av=λv ,v特征向量,λ特征值

特征分解(对角化):A=是由特征值组成的对角矩阵

奇异值分解 :奇异值, 奇异值对应的奇异向量

正交矩阵,其每个行,列代表一个方向

线性模型
  • 多维缩放(MDS):

给定空间中任意两个点的距离 ,点的具体位置、维度未知;将这些点嵌入到低维空间,使得新空间中点对的距离和原来尽可能接近

输入:距离矩阵D,低维度D'

算法过程:计算D;借助中心化矩阵,计算 ;对B做特征值分解

输出:

  • PCA

过程:1.先处理数据,数据标准化,使得均值为0

2.求相关矩阵R=XX^T

3.求R的特征值、特征向量 Rw=λw

4.降为k维,就选最大的k个特征值的特征向量,构成主成分矩阵P

5.x对应到k维 X'=XP

优点:特征向量方向、没有格外参数、没有迭代、没有局部最小值

缺点:只用了二阶统计量,不能处理高阶;受限于线性投影

非线性降维:核PCA、流形学习
  • 核PCA
流形学习

高维空间中,欧式距离不能准确反映数据内在的相似度

全局距离保持,等距离映射ISOMAP:构建邻接图;计算最短距离(测地距离);构建低维嵌入

局部距离保持,LLE拉普拉斯特征映射

局部优先,tNSE:高维空间相似的点映射到低维也相似。高维降到2/3维,嵌入空间的相似度由t分布表示,SNE:欧氏距离转换为用概率来表示的相似度。主要用于可视化

优化准则

最小化信息损失

最大化区分度

相关推荐
VIP_CQCRE3 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷4 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我5 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁015 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
Csvn5 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄6 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下7 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码7 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下7 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩7 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek