决策树--CART分类树

1、介绍

(1)简介

CART(Classification and Regression Trees)分类树是一种基于决策树的机器学习算法,用于解

决分类问题。它通过构建树状的决策规则来对数据进行分类。

(2)生成过程

① 选择一个特征和相应的切分点,将数据集分为两个子集。

② 对每个子集递归地重复步骤1,直到满足停止条件。

③ 当达到停止条件时,叶节点表示最终的分类结果。

(3)示意图

(4)特点:节点不仅包含特征,还要有特征属性。

2、如何构建树?

(1)特征选择方式--基尼系数最小

① 原始定义

② 特殊:二分类问题

③ 对给定的样本集合

④ 一般求法

⑤ 例题:根据表1 所给训练数据集,应用CART算法生成决策树。

(2) 树的深度如何决定

①给定深度,达到了预定的树的深度。

② 子集中的样本数量小于某个阈值。

③ 或者子集中的样本属于同一类别。

(3)叶子节点的代表值--表示最终的分类结果

3、分类决策树和CART分类树的区别

(1)分类准则

CART分类树使用基尼系数(Gini index)或基于基尼系数的指标(如GINI gain)作为划分准

则,以最大化数据集的纯度。

分类决策树常使用信息增益(Information Gain)或基于信息增益的指标(如信息增益比)作为

划分准则,以最大化数据集的信息增益。

(2)多叉树 vs. 二叉树

CART分类树是二叉树,每个非叶节点只有两个分支,分别对应划分特征的两个取值。

分类决策树可以是多叉树,每个非叶节点可以有多个分支,对应于划分特征的多个取值。

相关推荐
_殊途41 分钟前
《Java HashMap底层原理全解析(源码+性能+面试)》
java·数据结构·算法
珊瑚里的鱼4 小时前
LeetCode 692题解 | 前K个高频单词
开发语言·c++·算法·leetcode·职场和发展·学习方法
秋说5 小时前
【PTA数据结构 | C语言版】顺序队列的3个操作
c语言·数据结构·算法
lifallen5 小时前
Kafka 时间轮深度解析:如何O(1)处理定时任务
java·数据结构·分布式·后端·算法·kafka
liupenglove6 小时前
自动驾驶数据仓库:时间片合并算法。
大数据·数据仓库·算法·elasticsearch·自动驾驶
python_tty7 小时前
排序算法(二):插入排序
算法·排序算法
然我7 小时前
面试官:如何判断元素是否出现过?我:三种哈希方法任你选
前端·javascript·算法
F_D_Z7 小时前
【EM算法】三硬币模型
算法·机器学习·概率论·em算法·极大似然估计
秋说8 小时前
【PTA数据结构 | C语言版】字符串插入操作(不限长)
c语言·数据结构·算法
凌肖战9 小时前
力扣网编程135题:分发糖果(贪心算法)
算法·leetcode