[CART决策树]如何划分离散型特征

在CART(分类与回归树)算法中,当处理离散型属性或者类别型属性的时候,节点的分裂过程遵循以下步骤:

1. 生成所有可能的二分方式

  • 对于具有k个类别的离散属性,需枚举所有可能的非空真子集划分,将属性值分为两个互斥的子集(左子集和右子集)。

  • 由于对称性(左右子集互换不影响分裂效果),实际划分方式数为 2k−1−12k−1−1。

  • 例如,当属性有3个类别(红、蓝、绿)时,可能的有效划分包括:

    • {红} vs {蓝, 绿}
    • {蓝} vs {红, 绿}
    • {绿} vs {红, 蓝}
    • {红, 蓝} vs {绿}
    • {红, 绿} vs {蓝}
    • {蓝, 绿} vs {红}
      但通过对称性简化后,只需考虑前三种或后三种,总数为 23−1−1=323−1−1=3 种。

2. 计算每种划分的基尼指数

  • 对每个候选划分,计算分裂后左右子节点的基尼指数(Gini Index),并按样本占比加权求和。基尼指数公式为:

    Gini(D)=1−∑i=1Cpi2Gini(D)=1−i=1∑C​pi2​

    其中 CC 是类别数,pipi​ 是第 ii 类的比例。分裂后的总基尼指数为:

    Ginisplit=NleftNGini(Dleft)+NrightNGini(Dright)Ginisplit​=NNleft​​Gini(Dleft​)+NNright​​Gini(Dright​)

    选择使 GinisplitGinisplit​ 最小的划分方式。

3. 选择最优划分

  • 比较所有候选划分的基尼指数,选择下降最大(即总基尼指数最小,越小代表数据越纯)的划分作为分裂规则。例如,若将{红, 蓝}归为左子节点、{绿}归为右子节点时基尼指数最小,则分裂条件为"颜色是否为绿"。

4. 处理类别较多的情况

  • 当离散属性类别数 kk 较大时,穷举所有划分计算量过大。此时可采用优化策略:

    • 按目标变量排序:对类别按目标变量(如正类比例)排序,转化为类似连续变量的处理,仅需 k−1k−1 次划分。
    • 启发式方法:限制候选划分数量或使用贪心策略减少计算量。

示例

假设颜色属性为红、蓝、绿,样本分布如下:

  • 左子集候选划分 {红, 蓝}:包含红、蓝样本,基尼指数较低。
  • 右子集候选划分 {绿}:包含绿样本,基尼指数较低。
    若此划分的总基尼指数最小,则节点分裂为"颜色 ∈ {红, 蓝}"和"颜色 = 绿"。

结论

CART通过遍历离散属性的所有有效二分方式,选择基尼指数最小的划分,生成二叉树结构。

该方法确保局部最优性,同时通过优化策略应对高基数离散属性,平衡计算效率与分类性能。

相关推荐
SHIPKING3933 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
巴伦是只猫3 小时前
【机器学习笔记Ⅰ】11 多项式回归
笔记·机器学习·回归
巴伦是只猫8 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手8 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
LCG元9 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
生态遥感监测笔记10 小时前
GEE利用已有土地利用数据选取样本点并进行分类
人工智能·算法·机器学习·分类·数据挖掘
刘海东刘海东11 小时前
结构型智能科技的关键可行性——信息型智能向结构型智能的转变(修改提纲)
人工智能·算法·机器学习
路溪非溪12 小时前
机器学习之线性回归
人工智能·机器学习·线性回归
Blossom.11814 小时前
机器学习在智能制造业中的应用:质量检测与设备故障预测
人工智能·深度学习·神经网络·机器学习·机器人·tensorflow·sklearn