机器学习——

目录

  • [1 子集搜索与评价](#1 子集搜索与评价)

1 子集搜索与评价

属性称为特征

  • 相关特征

    对当前学习任务有用的属性。

  • 无关特征

    没什么用的属性,与当前学习任务无关。

  • 特征选择(重要的数据预处理过程)

    从给定的特征集合中选择出相关特征子集的过程。

  • 冗余特征

    该特征中所包含的信息能从其他特征中推演出来。

特征学习的重要性:

1.缓解维度灾难问题。

2.通过去除不相关特征来降低学习任务的难度。

从初始特征集合中选取包含了所有重要信息的特征子集涉及两个环节

  • 子集搜索(基于贪心策略,有三种搜索方法)

    1.前向搜索:给定特征集合将每个特征看作一个候选子集,先对所有单特征子集进行评价,选定一个集,然后在上一轮的选定集加入一个特征,选出最佳特征子集。一直进行上述选择,直到最优的候选特征子集不如上一轮的选定集。

    2.后向搜索:从完整特征集合开始,每次尝试去掉一个无关特征,逐渐减少特征。

    3.双向搜索:将前向和后向搜索结合起来,每一轮逐渐增加选定相关特征,同时减少无关特征。

  • 子集评价

    给定数据集D,对属性子集A,假定根据其取值将D分为了V个子集,每个子集中的样本在A上取值相同,计算属性子集A的信息增益
    G a i n ( A ) = E n t ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) Gain(A)=Ent(D)-\sum_{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v) Gain(A)=Ent(D)−∑v=1V∣D∣∣Dv∣Ent(Dv)

    信息熵定义为
    E n t ( D ) = − ∑ i = 1 ∣ y ∣ p k l o g 2 p k Ent(D)=-\sum_{i=1}^{|y|}p_klog_2p_k Ent(D)=−∑i=1∣y∣pklog2pk

信息增益越大,特征子集A中包含的有助于分类的信息越多,可以通过计算信息增益来作为评价标准。

常见的特征选择方法大致分为三类:过滤式,包裹式,嵌入式。

相关推荐
知来者逆10 分钟前
计算机视觉——速度与精度的完美结合的实时目标检测算法RF-DETR详解
图像处理·人工智能·深度学习·算法·目标检测·计算机视觉·rf-detr
一勺汤13 分钟前
YOLOv11改进-双Backbone架构:利用双backbone提高yolo11目标检测的精度
人工智能·yolo·双backbone·double backbone·yolo11 backbone·yolo 双backbone
武汉唯众智创15 分钟前
高职人工智能技术应用专业(计算机视觉方向)实训室解决方案
人工智能·计算机视觉·人工智能实训室·计算机视觉实训室·人工智能计算机视觉实训室
Johny_Zhao26 分钟前
MySQL 高可用集群搭建部署
linux·人工智能·mysql·信息安全·云计算·shell·yum源·系统运维·itsm
一只可爱的小猴子36 分钟前
2022李宏毅老师机器学习课程笔记
人工智能·笔记·机器学习
地瓜机器人41 分钟前
乐聚机器人与地瓜机器人达成战略合作,联合发布Aelos Embodied具身智能
人工智能·机器人
带娃的IT创业者44 分钟前
《AI大模型趣味实战》基于RAG向量数据库的知识库AI问答助手设计与实现
数据库·人工智能
__Benco1 小时前
OpenHarmony - 小型系统内核(LiteOS-A)(十),魔法键使用方法,用户态异常信息说明
人工智能·harmonyos
小杨4041 小时前
python入门系列二十(peewee)
人工智能·python·pycharm
IT古董1 小时前
【漫话机器学习系列】225.张量(Tensors)
人工智能