Day21_【机器学习—决策树(3)—剪枝】

决策树剪枝是一种防止决策树过拟合的一种正则化方法;提高其泛化能力。决策树在训练过程中如果生长过深、过于复杂,会过度拟合训练数据中的噪声和异常值,导致在新数据上表现不佳。剪枝通过简化树结构,去除不必要的分支,从而提升模型的鲁棒性。


一、剪枝的目的

  • 减少模型复杂度
  • 防止过拟合
  • 提高在测试集上的预测性能
  • 增强模型的可解释性

二、剪枝的类型

剪枝主要分为两类:预剪枝(Pre-pruning)后剪枝(Post-pruning)


1. 预剪枝(Pre-pruning)------提前停止

在决策树构建过程中,提前终止树的生长。

常见停止条件:
  • 树的深度达到预设最大值
  • 节点中的样本数少于阈值
  • 节点的不纯度下降小于阈值(如信息增益 < ε)
  • 节点中所有样本属于同一类别
  • 没有更多特征可用于划分
优点:
  • 计算开销小
  • 训练速度快
缺点:
  • 容易欠拟合:可能过早停止,错过潜在的有效划分("贪心"问题)
  • 阈值选择敏感,需通过验证集调整

✅ 适用于对训练时间敏感的场景。


2. 后剪枝(Post-pruning)------先生成再简化

先让决策树充分生长 (直到每个叶节点纯或满足最小样本数),然后自底向上地对非叶节点进行评估,判断是否应将其子树替换为叶节点。

优点:
  • 通常比预剪枝效果更好
  • 能保留更多有效结构,避免欠拟合
缺点:
  • 计算成本高(需先建完整树)
  • 实现较复杂
相关推荐
笔触狂放5 小时前
【机器学习】综合实训(一)
人工智能·机器学习
Billy_Zuo5 小时前
人工智能机器学习——逻辑回归
人工智能·机器学习·逻辑回归
非门由也6 小时前
《sklearn机器学习——管道和复合估计器》联合特征(FeatureUnion)
人工智能·机器学习·sklearn
l12345sy6 小时前
Day21_【机器学习—决策树(1)—信息增益、信息增益率、基尼系数】
人工智能·决策树·机器学习·信息增益·信息增益率·基尼指数
非门由也6 小时前
《sklearn机器学习——管道和复合估算器》异构数据的列转换器
人工智能·机器学习·sklearn
java1234_小锋7 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 主成分分析 (PCA)
python·机器学习·scikit-learn
java1234_小锋7 小时前
Scikit-learn Python机器学习 - 特征降维 压缩数据 - 特征提取 - 线性判别分析 (LDA)
python·机器学习·scikit-learn
小王爱学人工智能8 小时前
快速了解迁移学习
人工智能·机器学习·迁移学习
非门由也8 小时前
《sklearn机器学习——管道和复合估算器》可视化复合估计器
人工智能·机器学习·sklearn