机器学习第十三课--主成分分析PCA

一.高维数据

除了图片、文本数据,我们在实际工作中也会面临更多高维的数据。比如在评分卡模型构建过程中,我们通常会试着衍生出很多的特征,最后就得到上千维、甚至上完维特征;在广告点击率预测应用中,拥有几个亿特征也是常见的事情;在脑科学或者基因研究中,特征数甚至可能更多;所以,如何更有效地处理这些高维的特征就变成了一个非常重要的问题。

二.数据降维

除了有效利用高维的数据之外,我们也可以思考一个问题:"高维数据,那么多特征真的都有用吗?" 这就类似于一个人的社交质量并不取决于有多少朋友,而在于朋友质量,在建模过程中也适用这个道理。特征越多并不代表学出来的模型越好,我们更需要关注特征对预测任务的相关性或者价值,有些特征甚至可能成为噪声,反而影响模型的效果。

2.1如何降维

2.1.1数据的降维 通过函数的映射关系

2.1.2特征选择

选择子集

三.PCA

PCA(Principal Component Analysis)作为一种重要的降维算法有着非常广泛的应用。PCA经常用来做数据的可视化、或者用来提高预测模型的效果。 对于PCA降维算法来讲,有几个核心问题需要弄清楚:

1。 PCA降维的核心思想是什么? 它是依赖于什么条件做降维?

2。 什么叫主成分(principal component)?

从图中可以看出,沿着C的方向,数据是越分散的,也就说明在这个方向上我们可以看出数据之间的更多差异!相反,沿着直线A的方向,我们可以看到很多数据的差异并不明显,区分度很低。所以,总体来讲,当我们选择C为新的坐标轴时,所有点在这个坐标轴上的值的差异是最大的,也就是最大程度的保留了数据之间的特点(差异性),这就是PCA的核心思想。

找到第一个主成分,第二个主成分和第一个主成分垂直。

四.PCA的缺点

1.只能针对线性

2.必须做归一化

3.部分信息会丢失(降维)

4.可解释性比较弱

五.其他的降维方法

相关推荐
字节跳动视频云技术团队35 分钟前
接大模型别再自己配 Key、搭代理了,火山引擎 IGA Pages 一步搞定
人工智能
阿里云大数据AI技术1 小时前
EMR Serverless StarRocks 产品介绍:从统一 OLAP 走向多模态分析与检索
人工智能
Forget the Dream2 小时前
Spring AI 2.0 系列(二):第一个 ChatClient——从注入到一次完整调用
java·人工智能·spring boot·ai·springai
郝学胜-神的一滴2 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子2 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li3 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu3 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记3 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金3 小时前
深入浅出RAG——第21章:回顾与展望
人工智能