【机器学习】决策树

什么是决策树?

决策树是一种树形结构的机器学习模型 ,用于分类或回归问题。它通过一系列的特征条件划分数据,逐步缩小问题的范围,最终做出预测或决策

决策树算法属于监督学习方法。

决策树归纳的基本算法是贪心算法

自顶向下来构建决策树。

决策树模型

  • 根节点:包含全部数据,是决策树的起点。
  • 内部节点:每个节点对应一个特征,用来划分数据

(根据判断条件,数据被划分到不同的分支)

  • 叶节点:表示分类结果或预测值

基本流程

通过递归分裂数据,构建一棵树,使每次划分后的子集尽量"纯"。

核心步骤

  1. 选择最优特征(划分标准)

    • 每次选一个"最优特征",将数据分成几类,尽量让每一类的数据都"纯"(尽量属于同一类别)。

    • 最优特征的选择通过 信息增益基尼指数 计算。

  2. 递归分裂

    • 对每个分支的数据子集,重复选择特征、划分数据的过程。

    • 直到满足停止条件:叶子节点达到一定纯度,或者没有特征可用。

  3. 停止分裂

    • 数据完全被划分好,或达到最大深度、最小样本限制等条件。

特征选择的指标

信息增益

信息增益衡量一个特征对数据划分的效果。特征越好,划分后数据越纯,信息增益越大。

信息熵(Entropy):表示数据的混乱程度

增益率

基尼指数

基尼指数衡量数据的不纯度

基尼指数越小,数据越纯。

划分选择vs.剪枝

  • 信息增益(用于 ID3 算法):

    • 计算节点划分前后的熵变化。【熵是对数据混乱程度的度量。熵越低,数据越纯】
    • 信息增益越大,特征越好。【信息增益表示在某特征下划分数据后,减少的程度】
  • 增益率(用于 C4.5 算法):

    • 信息增益的改进形式,考虑特征的"取值数目"对信息增益的影响,避免偏好多值特征。

【固有值度量了特征取值的分布情况】增益率通过归一化,降低了多值特征的影响。

  • 基尼指数(用于 CART 算法):

    • 衡量节点划分后的数据不纯度。【基尼指数衡量数据不纯度。基尼指数越小,数据越纯】
    • 基尼指数越小,数据越纯。

防止过拟合的方法

剪枝过程中需评估剪枝前后决策树的优劣

剪枝的好处

  • 减少过拟合,提升模型的泛化性能。
  • 简化树的结构,使其更易解释。

决策树的三种基本类型

ID3算法

V ID3算法最早是由罗斯昆(J. Ross Quinlan)于1975年提出的一种决策树构建

算法,算法的核心是"信息熵",期望信息越小,信息熵越大,样本纯度越低。

V ID3算法是以信息论为基础,以信息增益为衡量标准,从而实现对数据的归纳

分类。

V ID3算法计算每个属性的信息增益,并选取具有最高增益的属性作为给定的测

试属性。

C4.5算法

  • 预剪枝(Pre-Pruning):

    • 在构建决策树时提前停止划分。

    • 条件:

      • 当前节点的样本数少于设定阈值。

      • 划分后信息增益低于阈值。

      • 树的深度达到限制。

    • 优点:简单高效,防止生成过于复杂的树。

    • 缺点:可能过早停止,导致模型欠拟合。

  • 后剪枝(Post-Pruning):

    • 先生成一棵完整的决策树,然后从叶子节点向上剪枝。

    • 剪枝后验证模型性能,如果剪枝能提升性能则保留剪枝。

    • 方法

      • 错误率剪枝:计算剪枝前后对验证集的错误率,错误率下降则剪枝。

      • 代价复杂度剪枝:通过引入一个正则化参数,平衡树的复杂度和误差。

    • 优点:更灵活,能保留有用的复杂结构。

    • 缺点:计算复杂度较高。

CART算法

相关推荐
白-胖-子4 小时前
深入剖析大模型在文本生成式 AI 产品架构中的核心地位
人工智能·架构
想要成为计算机高手5 小时前
11. isaacsim4.2教程-Transform 树与Odometry
人工智能·机器人·自动驾驶·ros·rviz·isaac sim·仿真环境
NeoFii5 小时前
Day 22: 复习
机器学习
静心问道6 小时前
InstructBLIP:通过指令微调迈向通用视觉-语言模型
人工智能·多模态·ai技术应用
宇称不守恒4.06 小时前
2025暑期—06神经网络-常见网络2
网络·人工智能·神经网络
小楓12016 小时前
醫護行業在未來會被AI淘汰嗎?
人工智能·醫療·護理·職業
数据与人工智能律师7 小时前
数字迷雾中的安全锚点:解码匿名化与假名化的法律边界与商业价值
大数据·网络·人工智能·云计算·区块链
chenchihwen7 小时前
大模型应用班-第2课 DeepSeek使用与提示词工程课程重点 学习ollama 安装 用deepseek-r1:1.5b 分析PDF 内容
人工智能·学习
说私域7 小时前
公域流量向私域流量转化策略研究——基于开源AI智能客服、AI智能名片与S2B2C商城小程序的融合应用
人工智能·小程序
Java樱木7 小时前
AI 编程工具 Trae 重要的升级。。。
人工智能