机器学习笔记(四)-决策树

决策过程的最终结果对应我们期望的判定结果,一颗决策树包含一个根结点、若干个内部结点、若干个叶结点。决策树的生成是一个递归的过程,一般三种情况会导致递归返回:

(1)当前结点包含的样本属于同一类别,无需划分

(2)当前属性集为空,或者所有样本在所有属性上取值相同,无法划分(此时我们把当前结点标记为叶结点,将其类别设定为该结点所含样本最多的类别,是利用当前结点的后验分布)

(3)当前结点包含的样本集合为空,不能划分(把父节点的样本分布作为当前结点的先验分布)。

决策树学习关键:即如何选择最优划分属性,一般我们希望分支结点包含的样本尽可能属于同一类别。

划分选择:这些准则对决策树的尺寸影响较大,对其泛化能力影响较小

1、以信息增益作为准则----对取值数目较多的属性有偏好

定义信息熵作为样本纯度度量的指标。

2、增益率----对取值数目较少的属性有偏好

3、基尼系数

剪枝处理:使用方法和程度对决策树泛化能力影响显著

目的:为了解决过拟合

基本策略:预剪枝(可能带来欠拟合风险)、后剪枝(欠拟合的风险很小,泛化性能往往优于预剪枝)

连续与缺失值(在决策数中使用连续属性)

连续值处理:连续属性在样本上的取值进行排序,对相邻属性取值的中位数作为候选点进行划分。

PS:若当前结点划分属性为连续属性,该属性还可以作为其后代结点的划分属性,这一点与离散属性不同。

缺失值处理:

问题:属性值缺失如何进行划分属性选择;给定划分属性,样本在该属性上缺失值,应如何对样本进行划分。

方法:利用没有缺失的样本判断属性的优劣;给样本属性已知和样本属性未知的样本不同的权值。

多变量决策树:

将每个属性视为一个坐标轴,对样本分类意味着在这个坐标空间中寻找不同类样本之间的分类边界,决策树分类边界有一个明显的特点,即由若干个与坐标轴平行的分段组成,因此具有较好的可解释性。当使用斜划分时,就成为了多变量决策树。此时,非叶结点不再是某一个属性,而是对属性的线性组合进行测试。

相关推荐
希和20274 小时前
江科大 51 单片机笔记:DS18B20 温度传感器 + LCD1602 显示代码详解
笔记·单片机·mongodb
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康6 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy8 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
Sakura_j_h_8 小时前
MCP SDK 2.0 实战:用 MCPServer 搭本地笔记检索服务
开发语言·笔记·python·qt·ai工具·mcp·mcpserver
前进的李工12 小时前
Agent 学习笔记 15:Agent 怎样响应事件与中途打断?
人工智能·笔记·agent·openclaw·工具设计·gpt-6 astra·原生异步
在所不辞兄13 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
希和202715 小时前
51 单片机学习笔记:LCD1602、独立按键、I2C 与 AT24C02 掉电存储(江科大课程小白笔记)
笔记·单片机·学习
北风toto15 小时前
Spring Boot 常用注解 · 概要笔记
spring boot·笔记·后端