机器学习笔记(四)-决策树

决策过程的最终结果对应我们期望的判定结果,一颗决策树包含一个根结点、若干个内部结点、若干个叶结点。决策树的生成是一个递归的过程,一般三种情况会导致递归返回:

(1)当前结点包含的样本属于同一类别,无需划分

(2)当前属性集为空,或者所有样本在所有属性上取值相同,无法划分(此时我们把当前结点标记为叶结点,将其类别设定为该结点所含样本最多的类别,是利用当前结点的后验分布)

(3)当前结点包含的样本集合为空,不能划分(把父节点的样本分布作为当前结点的先验分布)。

决策树学习关键:即如何选择最优划分属性,一般我们希望分支结点包含的样本尽可能属于同一类别。

划分选择:这些准则对决策树的尺寸影响较大,对其泛化能力影响较小

1、以信息增益作为准则----对取值数目较多的属性有偏好

定义信息熵作为样本纯度度量的指标。

2、增益率----对取值数目较少的属性有偏好

3、基尼系数

剪枝处理:使用方法和程度对决策树泛化能力影响显著

目的:为了解决过拟合

基本策略:预剪枝(可能带来欠拟合风险)、后剪枝(欠拟合的风险很小,泛化性能往往优于预剪枝)

连续与缺失值(在决策数中使用连续属性)

连续值处理:连续属性在样本上的取值进行排序,对相邻属性取值的中位数作为候选点进行划分。

PS:若当前结点划分属性为连续属性,该属性还可以作为其后代结点的划分属性,这一点与离散属性不同。

缺失值处理:

问题:属性值缺失如何进行划分属性选择;给定划分属性,样本在该属性上缺失值,应如何对样本进行划分。

方法:利用没有缺失的样本判断属性的优劣;给样本属性已知和样本属性未知的样本不同的权值。

多变量决策树:

将每个属性视为一个坐标轴,对样本分类意味着在这个坐标空间中寻找不同类样本之间的分类边界,决策树分类边界有一个明显的特点,即由若干个与坐标轴平行的分段组成,因此具有较好的可解释性。当使用斜划分时,就成为了多变量决策树。此时,非叶结点不再是某一个属性,而是对属性的线性组合进行测试。

相关推荐
Long_poem2 分钟前
【自学笔记】ELK基础知识点总览-持续更新
笔记·elk·jenkins
Shockang35 分钟前
机器学习的一百个概念(5)数据增强
人工智能·机器学习
cwtlw44 分钟前
PhotoShop学习03
笔记·学习·photoshop
Peter11467178501 小时前
服务器入门操作1(深度学习)
服务器·人工智能·笔记·深度学习·学习
蚍蜉撼树谈何易3 小时前
机器学习的定义及分类
人工智能·机器学习·分类
Qwertyuiop201610 小时前
搭建开源笔记平台:outline
笔记·开源
gang_unerry10 小时前
量子退火与机器学习(2):少量实验即可找到新材料,黑盒优化➕量子退火
人工智能·机器学习·量子计算·量子退火
Chaos_Wang_11 小时前
NLP高频面试题(二十八)——Reward model是如何训练的,怎么训练一个比较好的Reward model
人工智能·机器学习·自然语言处理
Vic·Tory12 小时前
Go语言学习笔记
笔记·学习·golang