机器学习——

目录

  • [1 子集搜索与评价](#1 子集搜索与评价)

1 子集搜索与评价

属性称为特征

  • 相关特征

    对当前学习任务有用的属性。

  • 无关特征

    没什么用的属性,与当前学习任务无关。

  • 特征选择(重要的数据预处理过程)

    从给定的特征集合中选择出相关特征子集的过程。

  • 冗余特征

    该特征中所包含的信息能从其他特征中推演出来。

特征学习的重要性:

1.缓解维度灾难问题。

2.通过去除不相关特征来降低学习任务的难度。

从初始特征集合中选取包含了所有重要信息的特征子集涉及两个环节

  • 子集搜索(基于贪心策略,有三种搜索方法)

    1.前向搜索:给定特征集合将每个特征看作一个候选子集,先对所有单特征子集进行评价,选定一个集,然后在上一轮的选定集加入一个特征,选出最佳特征子集。一直进行上述选择,直到最优的候选特征子集不如上一轮的选定集。

    2.后向搜索:从完整特征集合开始,每次尝试去掉一个无关特征,逐渐减少特征。

    3.双向搜索:将前向和后向搜索结合起来,每一轮逐渐增加选定相关特征,同时减少无关特征。

  • 子集评价

    给定数据集D,对属性子集A,假定根据其取值将D分为了V个子集,每个子集中的样本在A上取值相同,计算属性子集A的信息增益
    G a i n ( A ) = E n t ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) Gain(A)=Ent(D)-\sum_{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v) Gain(A)=Ent(D)−∑v=1V∣D∣∣Dv∣Ent(Dv)

    信息熵定义为
    E n t ( D ) = − ∑ i = 1 ∣ y ∣ p k l o g 2 p k Ent(D)=-\sum_{i=1}^{|y|}p_klog_2p_k Ent(D)=−∑i=1∣y∣pklog2pk

信息增益越大,特征子集A中包含的有助于分类的信息越多,可以通过计算信息增益来作为评价标准。

常见的特征选择方法大致分为三类:过滤式,包裹式,嵌入式。

相关推荐
AI英德西牛仔1 分钟前
智谱清言导出word指令失效?PC端深度用户正在用“AI导出鸭”重构内容归档流
人工智能·重构·word·excel·deepseek·ai导出鸭
安心联-车辆监控管理系统23 分钟前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
BioTender24 分钟前
OpenAI 发布 BioBasicsBench:GPT-6 开始接受真实湿实验数据的检验
人工智能·ai制药
一起学安全技术40 分钟前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
挖掘狂人44 分钟前
128GB 让 “本地跑大模型” 成为日用品,但分水岭不在硬件
人工智能
oil欧哟1 小时前
Gemini 4 系列与 Antigravity 使用心得:Carbon、Argon 与 Hydrogen 实测与提速方法
人工智能
菜鸟~noob2331 小时前
[AI]间章:系列走到这里,聊聊后面的规划、造卡需要的软件平台,以及为什么我要先暂停更新
人工智能·python·fpga开发·django·pygame
aneasystone本尊1 小时前
大模型训练系列收官:动手训一个属于自己的小模型
人工智能
杨凯凡1 小时前
Spring AI MCP 多租户安全实战:共享 Session 会串数据吗?工具权限与隔离边界
人工智能·安全·spring