[基本功]决策树

决策树

什么时候结束划分?

  • 当前结点包含的样本全属于同一类别,无需划分
  • 当前属性值为空,或是所有样本在所有属性上取值相同,无法划分
  • 当前结点包含的样本集合为空,不能划分

如何选择最优划分属性?

  • 信息增益(ID3)

    • 信息熵,可以度量样本集合纯度

    E n t ( D ) = − ∑ k = 1 ∣ y ∣ p k l o g 2 p k Ent(D)=-\sum_{k=1}^{|y|}p_klog_2p_k Ent(D)=−k=1∑∣y∣pklog2pk

    • 熵越小,则D的纯度越高
    • 用A属性对D样本集合进行划分,得到的信息增益为:

    • 信息增益准则对可取值数目较多的属性有所偏好(比如ID,一人一个)

    • 【必须离散属性,多叉树或二叉树】

  • 增益率(C4.5)

    • 增益率准则对可取值数目较少的属性有所偏好,因此C4.5并不是直接选择增益率最大的候选划分属性,而是使用了一个启发式:先从候选划分属性中找出信息增益高于平均水平的属性。再从中选择增益率最高的。
    • 【可连续可离散,多叉树或二叉树】
  • 基尼指数(CART)

    • 分类和回归都可用

      • 数据集D的基尼值:

      G i n i ( p ) = ∑ k = 1 K p k ( 1 − p k ) = 1 − ∑ k = 1 K p k 2 ( 越大越不纯 ) Gini(p)=\sum_{k=1}^Kp_k(1-p_k)=1-\sum_{k=1}^Kp_k^2(越大越不纯) Gini(p)=k=1∑Kpk(1−pk)=1−k=1∑Kpk2(越大越不纯)

      • 属性A的基尼指数:
        G i n i _ i n d e x ( D , a ) = ∑ v = 1 V ∣ D v ∣ ∣ D ∣ G i n i ( D v ) Gini\index(D,a)=\sum{v=1}^V\frac{|D^v|}{|D|}Gini(D^v) Gini_index(D,a)=v=1∑V∣D∣∣Dv∣Gini(Dv)

      • 选最小的

    • 【可连续可离散,必须二叉树】

如何剪枝?

  • 剪枝可以防止决策树过拟合,提高泛化性能

    • 预剪枝,若当前节点的划分不能带来泛化性能提升,则停止划分并将当前结点标记为叶结点

      • 优点:降低了过拟合风险,显著减少训练时间开销和测试时间开销

      • 缺点:有些分支当前划分虽不能提升泛化性能,但在其基础上的后续划分却有可能导致性能显著提高,预剪枝基于贪心本质,带来了欠拟合风险

    • 后剪枝,生成决策树后,自底向上对非叶节点考察,用单一叶结点代替整个子树

      • 优点:欠拟合风险很小,泛化性能往往优于预剪枝决策树
      • 缺点:训练时间开销比未剪枝决策树和预剪枝决策树大很多

其他

  • 连续值处理

    • C4.5:二分法

    • 对连续属性a,可考察包含n-1个元素的候选划分点集合
      T a = { a i + a i + 1 2 ∣ 1 < = i < = n − 1 } T_a=\{\frac{a_i+a_{i+1}}2|1<=i<=n-1\} Ta={2ai+ai+1∣1<=i<=n−1}

    • 与离散属性不同,若当前结点划分属性为连续属性,该属性还可作为其后代结点的划分属性

  • 缺失值处理

    • C4.5有自己的一套处理缺失值的方法
  • 噪音数据可能影响决策树,在数据带有噪声的情况下,通过剪枝可将决策树的泛化性能提高25%

  • 多变量决策树

    • 非叶节点不再是仅对某个属性,而是对属性的线性组合进行测试
相关推荐
haoly19891 小时前
数据结构和算法篇-线性查找优化-移至开头策略
数据结构·算法·移至开头策略
lisw054 小时前
SolidWorks:现代工程设计与数字制造的核心平台
人工智能·机器学习·青少年编程·软件工程·制造
学Linux的语莫5 小时前
机器学习数据处理
java·算法·机器学习
earthzhang20215 小时前
【1007】计算(a+b)×c的值
c语言·开发语言·数据结构·算法·青少年编程
递归不收敛6 小时前
吴恩达机器学习课程(PyTorch适配)学习笔记:1.3 特征工程与模型优化
pytorch·学习·机器学习
2301_803554527 小时前
C++联合体(Union)详解:与结构体的区别、联系与深度解析
java·c++·算法
sali-tec8 小时前
C# 基于halcon的视觉工作流-章42-手动识别文本
开发语言·人工智能·算法·计算机视觉·c#·ocr
B站_计算机毕业设计之家8 小时前
机器学习实战项目:Python+Flask 汽车销量分析可视化系统(requests爬车主之家+可视化 源码+文档)✅
人工智能·python·机器学习·数据分析·flask·汽车·可视化
SandySY8 小时前
品三国谈人性
算法·架构
小欣加油8 小时前
leetcode 62 不同路径
c++·算法·leetcode·职场和发展