决策树--分类决策树

1、介绍

① 定义

分类决策树通过树形结构来模拟决策过程,决策树由结点和有向边组成。结点有两种类型:内部结

点和叶结点。内部结点表示一个特征或属性 ,叶子节点****表示一个类。

② 生成过程

用决策树分类,++从根结点开始,对样本的某一特征进行测试,根据测试结果,将样本分配到其他子++

++结点;这时,每一个子结点对应着该特征的一个取值,如此递归地对样本进行分配,直至达到叶结++

++点。最后将实例分到叶结点的类中++。

③ 示意图

​

2、特征选择--信息增益或信息增益比

(1)信息增益

① 熵的定义

信息增益是由熵构建而成,熵起源于热力学,后来由香农引用到信息论中,表示的是**「随机变量的**

不确定性」,不确定性越大,代表着熵越大。

由于熵和随机变量的分布有关,所以我们就可以写成:

​​​​​​​​那么什么时候的熵最大呢? 结论是:随机变量的取值等概率分布时,相应的熵最大。

② 信息增益算法

​可以看出,信息增益就是经验熵和经验条件熵的差值,他代表的是指:得知特征A而使类 Y的信息

的不确定性减少的程度。

后者越小,说明对应的不确定性最小,意味着如果选择特征 A 为最优特征时,对于分的类是最为

确定的,对应的就希望这个信息增益是最大的。

③ 例题:对于上述表所给的训练数据集,根据信息增益准则选择最优特征。

​ ​

​

④ 缺点:如果不同特征内的分类个数不同,那么取值个数较多的特征计算出的信息增益会更大。因此,信息增益会更倾向于取值较多的特征。

(2)信息增益比

使用信息增益来作为划分训练数据集的特征,存在偏向于选择取值较多的特征的问题。使用信息增

益比可以对这一问题进行校正,这是特征选择的另一准则。

​

相关推荐
forest_099 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛9 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
不会武功不懂江湖11 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v
Zwawa12 小时前
卡尔曼到底在算什么:从一维到它的变式以及工程版卡尔曼滤波算法C语言实现
c语言·算法·嵌入式
电科_银尘12 小时前
【大模型算法与工程 14】Tokenizer与Embedding:文本如何变成模型输入
算法·embedding
饮水桶_T13 小时前
Python 面向对象(十七)|继承、封装、多态 笔记
数据结构·笔记·算法
地平线开发者16 小时前
让 AI Agent 和 征程6 台架高效、稳定、安全地协作
算法·安全·自动驾驶
kyle~17 小时前
SHA-256 哈希去重
算法·哈希算法
风落青芜20 小时前
链式二叉树的实现与基本操作
c语言·开发语言·数据结构·算法