机器学习笔记(四)-决策树

决策过程的最终结果对应我们期望的判定结果,一颗决策树包含一个根结点、若干个内部结点、若干个叶结点。决策树的生成是一个递归的过程,一般三种情况会导致递归返回:

(1)当前结点包含的样本属于同一类别,无需划分

(2)当前属性集为空,或者所有样本在所有属性上取值相同,无法划分(此时我们把当前结点标记为叶结点,将其类别设定为该结点所含样本最多的类别,是利用当前结点的后验分布)

(3)当前结点包含的样本集合为空,不能划分(把父节点的样本分布作为当前结点的先验分布)。

决策树学习关键:即如何选择最优划分属性,一般我们希望分支结点包含的样本尽可能属于同一类别。

划分选择:这些准则对决策树的尺寸影响较大,对其泛化能力影响较小

1、以信息增益作为准则----对取值数目较多的属性有偏好

定义信息熵作为样本纯度度量的指标。

2、增益率----对取值数目较少的属性有偏好

3、基尼系数

剪枝处理:使用方法和程度对决策树泛化能力影响显著

目的:为了解决过拟合

基本策略:预剪枝(可能带来欠拟合风险)、后剪枝(欠拟合的风险很小,泛化性能往往优于预剪枝)

连续与缺失值(在决策数中使用连续属性)

连续值处理:连续属性在样本上的取值进行排序,对相邻属性取值的中位数作为候选点进行划分。

PS:若当前结点划分属性为连续属性,该属性还可以作为其后代结点的划分属性,这一点与离散属性不同。

缺失值处理:

问题:属性值缺失如何进行划分属性选择;给定划分属性,样本在该属性上缺失值,应如何对样本进行划分。

方法:利用没有缺失的样本判断属性的优劣;给样本属性已知和样本属性未知的样本不同的权值。

多变量决策树:

将每个属性视为一个坐标轴,对样本分类意味着在这个坐标空间中寻找不同类样本之间的分类边界,决策树分类边界有一个明显的特点,即由若干个与坐标轴平行的分段组成,因此具有较好的可解释性。当使用斜划分时,就成为了多变量决策树。此时,非叶结点不再是某一个属性,而是对属性的线性组合进行测试。

相关推荐
却道天凉_好个秋1 小时前
计算机视觉(十二):人工智能、机器学习与深度学习
人工智能·深度学习·机器学习·计算机视觉
虚拟现实旅人2 小时前
【机器学习】通过tensorflow搭建神经网络进行气温预测
神经网络·机器学习
天天开心a3 小时前
OSPF基础部分知识点
网络·笔记·学习·智能路由器·hcip
破烂儿3 小时前
基于机器学习的缓存准入策略研究
人工智能·机器学习·缓存
算法打盹中3 小时前
SimLingo:纯视觉框架下的自动驾驶视觉 - 语言 - 动作融合模型
人工智能·机器学习·计算机视觉·语言模型·自动驾驶
l12345sy4 小时前
Day23_【机器学习—聚类算法—K-Means聚类 及评估指标SSE、SC、CH】
算法·机器学习·kmeans·聚类·sse·sc·ch
jie*5 小时前
小杰机器学习(two)——导数、损失函数、斜率极值最值、微分规则、切平面与偏导数、梯度。
人工智能·机器学习
致***锌5 小时前
期权平仓后权利金去哪了?
笔记
LiuYaoheng6 小时前
【Android】View 的基础知识
android·java·笔记·学习
星梦清河6 小时前
宋红康 JVM 笔记 Day14|垃圾回收概述
jvm·笔记