决策树--CART分类树

1、介绍

(1)简介

CART(Classification and Regression Trees)分类树是一种基于决策树的机器学习算法,用于解

决分类问题。它通过构建树状的决策规则来对数据进行分类。

(2)生成过程

① 选择一个特征和相应的切分点,将数据集分为两个子集。

② 对每个子集递归地重复步骤1,直到满足停止条件。

③ 当达到停止条件时,叶节点表示最终的分类结果。

(3)示意图

(4)特点:节点不仅包含特征,还要有特征属性。

​

2、如何构建树?

(1)特征选择方式--基尼系数最小

① 原始定义​

② 特殊:二分类问题

​

③ 对给定的样本集合​

④ 一般求法​

⑤ 例题:根据表1 所给训练数据集,应用CART算法生成决策树。

(2) 树的深度如何决定

①给定深度,达到了预定的树的深度。

② 子集中的样本数量小于某个阈值。

③ 或者子集中的样本属于同一类别。

(3)叶子节点的代表值--表示最终的分类结果

3、分类决策树和CART分类树的区别

(1)分类准则

① CART分类树使用基尼系数(Gini index)或基于基尼系数的指标(如GINI gain)作为划分准

则,以最大化数据集的纯度。

② 分类决策树常使用信息增益(Information Gain)或基于信息增益的指标(如信息增益比)作为

划分准则,以最大化数据集的信息增益。

(2)多叉树 vs. 二叉树

① CART分类树是二叉树,每个非叶节点只有两个分支,分别对应划分特征的两个取值。

② 分类决策树可以是多叉树,每个非叶节点可以有多个分支,对应于划分特征的多个取值。

相关推荐
电科_银尘7 小时前
【大模型算法与工程 15】手写Self-Attention:Q、K、V与缩放点积
算法
郝学胜-神的一滴10 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
秋天的怀念_David10 小时前
算法一千零一夜 · 第三十三夜 · 跳表
java·程序人生·算法
Pniubi13 小时前
力扣21合并两个有序链表
算法·leetcode·职场和发展
AIgorithmGEEK13 小时前
std::unordered_map 与 std::unordered_set:接口、算法技巧与权衡 (速查)
c++·算法·哈希表·负载因子·桶·unordered_map·unordered_set
上海潭龙东海科技有限公司15 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师17 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户73416810354817 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi18 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂19 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛