机器学习之决策树

目录

一、结点

二、划分方法与三种决策树

2.1信息增益与ID3决策树

信息熵

信息增益

ID3决策树

2.2增益率与C4.5决策树

增益率

C4.5决策树

2.3基尼指数与CART决策树

基尼指数

CART决策树

2.4分类效果判断

三、剪枝

3.1预剪枝

3.2后剪枝

四、回归决策树

五、多变量决策树


决策树是机器学习分类算法中一个很经典的算法,基于if-else的思想分割数据,是一种树形的结构,每个内部结点表示一个属性上的判断,每个分支代表一个判断结果,每个叶结点代表一种分类结果。

经典判断西瓜好坏的决策树如下:

决策树流程如下:

决策树的生成是递归过程。导致递归返回的情况:

(1)当前结点包含的样本为同一类别

(2)当前属性集为空或者在所有属性上取值相同

(3)当前结点包含的样本集合为空

一、结点

1、根结点

包含样本全集

2、内部结点

每个结点对应一个属性测试

3、叶子结点

对应决策即分类结果;

从根结点到每个叶结点的路径对应一个判定测试序列

二、划分方法与三种决策树

在决策树中,每次需要选择合适的属性进行划分,使得划分得到的子树尽可能属于同一类别,即数据纯度尽可能的达到最大。

常用的选择属性的依据有:信息增益、增益率、基尼指数

对应三种不同的决策树:ID3决策树、C4.5决策树、CART决策树

2.1信息增益与ID3决策树

信息熵

信息熵:

指的是数据量的一致性,越趋近一致,熵越低。

信息熵定义为:

其中,表示D中第k类样本所占比例

D为样本集合

y是类别数

信息增益

信息增益公式为:

Gain(D,a)表示用属性a对样本D进行划分得到的信息增益

a有V个可能取值,使用a对D划分得到V个分支节点

表示第v个分支结点包含的D中所有在属性a上取值为的样本

信息增益越大,表明使用属性a划分获得的纯度提升越大

ID3决策树

ID3决策树即以信息增益为准则来选择划分属性。

信息增益准则对可取值数目较多的属性有偏重。

ID3只对离散属性的数据集构成决策树

2.2增益率与C4.5决策树

增益率

C4.5决策树使用增益率选择最优的划分属性。

增益率定义为

其中

IV(a)为属性a的固有值,属性a的可取值数目越多,则IV(a)越大。

增益率对可取值数目少的属性有偏好。

C4.5决策树

C4.5决策树中并不是直接选择增益率最大的 ,而是先找出信息增益高于平均水平的属性,再从中选择增益率最高的。

采用后剪枝的方法

规则简单

在构造决策树时,需要对数据集进行多次扫描和排序,导致算法效率低

2.3基尼指数与CART决策树

基尼指数

数据集的纯度可以用基尼值进行度量

Gini(D)反映了从D中随机抽取两个样本得到的类别不一样的概率。

Gini(D)越小,纯度越好

属性a的基尼指数为

CART决策树

可以选择基尼指数最小的属性进行划分;

可以进行分类和回归,可以处理离散属性或连续属性;

采用二叉树模型

2.4分类效果判断

根据分类得到的纯度

三、剪枝

剪枝是为了解决过拟合的问题。

过拟合是在训练时训练的"太好",使得模型非常符合训练集,但是在测试集中表现的不好。

可以去掉一些分支。

剪枝的策略有"预剪枝"和"后剪枝"两种

3.1预剪枝

预剪枝是在决策树生成的过程中,对结点在划分前先进行估计,若划分后决策树泛化性能不能提升,就不再进行划分,直接作为叶子结点。

泛化性能的提升与否可以使用验证集进行评估,即分别将前后两个决策树用验证集进行测试,看看两者划分的准确度哪个更高,选择更高的。

3.2后剪枝

后剪枝是从训练集生成一棵完整的决策树,然后自底向上对非叶结点进行评估,如果将该结点替换为叶子结点可以提升决策树的泛化性能,则将该结点替换Wie叶子节点。

四、回归决策树

回归决策树便于处理连续型数据。

选择属性进行划分时按照启发式的方法,对一个特征的取值进行遍历尝试,直到找到使得损失函数最小的取值,得到一个划分点。同时,对每一个特征都进行遍历,最终得到最优划分特征和取值。

五、多变量决策树

在多变量决策树中,非叶结点是对属性的线性组合进行测试

六、算法函数

python中决策树的函数为

class sklearn.tree.DecisionTreeClassifier

参数为

criterion(值可为'gini','entropy'即选择基尼指数或者信息增益)

min_samples_split(内部节点划分的最小样本数)

min_samples_leaf(叶子节点的最小样本数)

max_depth(决策树最大深度)

random_state(随机数种子)

相关推荐
时差95338 分钟前
MapReduce 的 Shuffle 过程
大数据·mapreduce
kakwooi2 小时前
Hadoop---MapReduce(3)
大数据·hadoop·mapreduce
数新网络2 小时前
《深入浅出Apache Spark》系列②:Spark SQL原理精髓全解析
大数据·sql·spark
昨日之日20062 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_2 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover2 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川3 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
阡之尘埃5 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
孙同学要努力7 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20217 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉