20240803---特征选择与稀疏学习

1.特征选择:在机器学习任务中,通过样本的特征预测样本所对应的值。

(1)无关特征:通过空气的湿度、环境的温度、风力、当地人的男女比例来预测明天是否下雨。男女比例属于无关特征。

(2)冗余特征:通过房屋的面积、卧室的面积、车库的面积、城市消费水平、城市税收水平等特征来预测房价。这里面的税收水平就说多余特征。

因为税收水平和消费水平存在相关性,我们只要两者取其一就可以。(因为另一个能从其中一个推演出来)

线性相关,用线性模型做回归会出现多重共线性,会导致过拟合。

(3)减少特征:不仅减少过拟合、减少特征数量(降维)、提高模型泛化能力,而且还可以使模型获得更好的解释性,增强对特征和特征值之间的理解,加快模型的训练速度,一般的,还会获得更好的性能。问题是,在面对未知领域时,很难有足够的认识去判断特征与目标之间的相关性,特征与特征之间的相关性。这时候就需要用一些数学或工程上的方法来帮助我们更好地进行特征选择。

2.特征选择的方法

1)过滤法(Filter):

按照发散性或者相关性对各个特征进行评分,设定阈值或者待选择阈值的个数,选择特征










2)包裹法(Wrapper)︰

根据目标函数,每次选择若干特征或者排除若干特征,直到选择出最佳的子集。





3)嵌入法(Embedding):

先使用某些机器学习的算法和模型进行训练,得到各个特征的权值系数,根据系数从大到小选择特征。类似于Filter方法,但是是通过训练来确定特征的优劣。





补充:

三、稀疏表示




四、字典学习

(1)字典学习



(2)字典学习的解法


看到了p60,明天还有ppt1和pp3要看

相关推荐
lulu_gh_yu16 分钟前
数据结构之排序补充
c语言·开发语言·数据结构·c++·学习·算法·排序算法
Re.不晚40 分钟前
Java入门15——抽象类
java·开发语言·学习·算法·intellij-idea
幼儿园老大*2 小时前
走进 Go 语言基础语法
开发语言·后端·学习·golang·go
2 小时前
开源竞争-数据驱动成长-11/05-大专生的思考
人工智能·笔记·学习·算法·机器学习
ctrey_2 小时前
2024-11-4 学习人工智能的Day21 openCV(3)
人工智能·opencv·学习
啦啦右一2 小时前
前端 | MYTED单篇TED词汇学习功能优化
前端·学习
霍格沃兹测试开发学社测试人社区2 小时前
软件测试学习笔记丨Flask操作数据库-数据库和表的管理
软件测试·笔记·测试开发·学习·flask
今天我又学废了3 小时前
Scala学习记录,List
学习
王俊山IT3 小时前
C++学习笔记----10、模块、头文件及各种主题(一)---- 模块(5)
开发语言·c++·笔记·学习
Mephisto.java4 小时前
【大数据学习 | kafka高级部分】kafka中的选举机制
大数据·学习·kafka