机器学习——

目录

  • [1 子集搜索与评价](#1 子集搜索与评价)

1 子集搜索与评价

属性称为特征

  • 相关特征

    对当前学习任务有用的属性。

  • 无关特征

    没什么用的属性,与当前学习任务无关。

  • 特征选择(重要的数据预处理过程)

    从给定的特征集合中选择出相关特征子集的过程。

  • 冗余特征

    该特征中所包含的信息能从其他特征中推演出来。

特征学习的重要性:

1.缓解维度灾难问题。

2.通过去除不相关特征来降低学习任务的难度。

从初始特征集合中选取包含了所有重要信息的特征子集涉及两个环节

  • 子集搜索(基于贪心策略,有三种搜索方法)

    1.前向搜索:给定特征集合将每个特征看作一个候选子集,先对所有单特征子集进行评价,选定一个集,然后在上一轮的选定集加入一个特征,选出最佳特征子集。一直进行上述选择,直到最优的候选特征子集不如上一轮的选定集。

    2.后向搜索:从完整特征集合开始,每次尝试去掉一个无关特征,逐渐减少特征。

    3.双向搜索:将前向和后向搜索结合起来,每一轮逐渐增加选定相关特征,同时减少无关特征。

  • 子集评价

    给定数据集D,对属性子集A,假定根据其取值将D分为了V个子集,每个子集中的样本在A上取值相同,计算属性子集A的信息增益
    G a i n ( A ) = E n t ( D ) − ∑ v = 1 V ∣ D v ∣ ∣ D ∣ E n t ( D v ) Gain(A)=Ent(D)-\sum_{v=1}^{V}\frac{|D^v|}{|D|}Ent(D^v) Gain(A)=Ent(D)−∑v=1V∣D∣∣Dv∣Ent(Dv)

    信息熵定义为
    E n t ( D ) = − ∑ i = 1 ∣ y ∣ p k l o g 2 p k Ent(D)=-\sum_{i=1}^{|y|}p_klog_2p_k Ent(D)=−∑i=1∣y∣pklog2pk

信息增益越大,特征子集A中包含的有助于分类的信息越多,可以通过计算信息增益来作为评价标准。

常见的特征选择方法大致分为三类:过滤式,包裹式,嵌入式。

相关推荐
阿坡RPA2 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049932 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心2 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI4 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c5 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2055 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清6 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh6 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员6 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物6 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技