目录
决策树是机器学习分类算法中一个很经典的算法,基于if-else的思想分割数据,是一种树形的结构,每个内部结点表示一个属性上的判断,每个分支代表一个判断结果,每个叶结点代表一种分类结果。
经典判断西瓜好坏的决策树如下:
决策树流程如下:
决策树的生成是递归过程。导致递归返回的情况:
(1)当前结点包含的样本为同一类别
(2)当前属性集为空或者在所有属性上取值相同
(3)当前结点包含的样本集合为空
一、结点
1、根结点
包含样本全集
2、内部结点
每个结点对应一个属性测试
3、叶子结点
对应决策即分类结果;
从根结点到每个叶结点的路径对应一个判定测试序列
二、划分方法与三种决策树
在决策树中,每次需要选择合适的属性进行划分,使得划分得到的子树尽可能属于同一类别,即数据纯度尽可能的达到最大。
常用的选择属性的依据有:信息增益、增益率、基尼指数
对应三种不同的决策树:ID3决策树、C4.5决策树、CART决策树
2.1信息增益与ID3决策树
信息熵
信息熵:
指的是数据量的一致性,越趋近一致,熵越低。
信息熵定义为:
其中,表示D中第k类样本所占比例
D为样本集合
y是类别数
信息增益
信息增益公式为:
Gain(D,a)表示用属性a对样本D进行划分得到的信息增益
a有V个可能取值,使用a对D划分得到V个分支节点
表示第v个分支结点包含的D中所有在属性a上取值为的样本
信息增益越大,表明使用属性a划分获得的纯度提升越大
ID3决策树
ID3决策树即以信息增益为准则来选择划分属性。
信息增益准则对可取值数目较多的属性有偏重。
ID3只对离散属性的数据集构成决策树
2.2增益率与C4.5决策树
增益率
C4.5决策树使用增益率选择最优的划分属性。
增益率定义为
其中
IV(a)为属性a的固有值,属性a的可取值数目越多,则IV(a)越大。
增益率对可取值数目少的属性有偏好。
C4.5决策树
C4.5决策树中并不是直接选择增益率最大的 ,而是先找出信息增益高于平均水平的属性,再从中选择增益率最高的。
采用后剪枝的方法
规则简单
在构造决策树时,需要对数据集进行多次扫描和排序,导致算法效率低
2.3基尼指数与CART决策树
基尼指数
数据集的纯度可以用基尼值进行度量
Gini(D)反映了从D中随机抽取两个样本得到的类别不一样的概率。
Gini(D)越小,纯度越好
属性a的基尼指数为
CART决策树
可以选择基尼指数最小的属性进行划分;
可以进行分类和回归,可以处理离散属性或连续属性;
采用二叉树模型
2.4分类效果判断
根据分类得到的纯度
三、剪枝
剪枝是为了解决过拟合的问题。
过拟合是在训练时训练的"太好",使得模型非常符合训练集,但是在测试集中表现的不好。
可以去掉一些分支。
剪枝的策略有"预剪枝"和"后剪枝"两种
3.1预剪枝
预剪枝是在决策树生成的过程中,对结点在划分前先进行估计,若划分后决策树泛化性能不能提升,就不再进行划分,直接作为叶子结点。
泛化性能的提升与否可以使用验证集进行评估,即分别将前后两个决策树用验证集进行测试,看看两者划分的准确度哪个更高,选择更高的。
3.2后剪枝
后剪枝是从训练集生成一棵完整的决策树,然后自底向上对非叶结点进行评估,如果将该结点替换为叶子结点可以提升决策树的泛化性能,则将该结点替换Wie叶子节点。
四、回归决策树
回归决策树便于处理连续型数据。
选择属性进行划分时按照启发式的方法,对一个特征的取值进行遍历尝试,直到找到使得损失函数最小的取值,得到一个划分点。同时,对每一个特征都进行遍历,最终得到最优划分特征和取值。
五、多变量决策树
在多变量决策树中,非叶结点是对属性的线性组合进行测试
六、算法函数
python中决策树的函数为
class sklearn.tree.DecisionTreeClassifier
参数为
criterion(值可为'gini','entropy'即选择基尼指数或者信息增益)
min_samples_split(内部节点划分的最小样本数)
min_samples_leaf(叶子节点的最小样本数)
max_depth(决策树最大深度)
random_state(随机数种子)