【机器学习算法】——决策树:CART

文章目录

理论

CART全称叫Classification and Regression Tree,即分类与回归树。CART假设决策树是二叉树,内部结点特征的取值只有"是"和"否",左分支是取值为"是"的分支,有分支则相反。这样的决策树等价于递归地二分每个特征。

CART分类回归树可以做分类或者回归。

  • 如果待预测结果是离散型数据,则CART生成分类决策树;
  • 如果待预测结果是连续型数据,则CART生成回归决策树。
    CART分类树使用==基尼指数(gini)==作为节点划分依据。
    CART决策树的生成就是递归地构建二叉决策树的过程 ,对回归树用平方误差最小化准则,对分类树用基尼指数最小化准则,进行特征选择,生成二叉树
    简而言之:选取Gini指数最小的分支属性作为根节点的分支属性!!!
    学习视频:【【五分钟机器学习】可视化的决策过程:决策树 Decision Tree】

sklearn 库实现

  1. 安装库文件,用于生成二叉树的图:
    pip install graphviz

  2. 下载graphviz安装包进行本地安装:参考学习

  3. 重启pycharm。

  4. 写代码:

    决策树需要从`from sklearn import tree'导入

python 复制代码
clf = tree.DecisionTreeClassifier(criterion='gini', max_depth=3)#cart模型
# 使用特征数据和标签数据训练决策树模型
result = clf.fit(X, Y)

这两行是构建CART模型的关键代码,分裂标准是'gini'指数,可以改变树的不同深度。

完整代码

python 复制代码
import numpy as np  # 导入numpy库
import random  # 导入random库
from sklearn import tree  # 从sklearn库中导入决策树模块
from sklearn.linear_model import LinearRegression
from graphviz import Source  # 从graphviz库中导入Source类

#1. 准备数据集
np.random.seed(42)  # 设置numpy的随机数生成器的种子
X = np.random.randint(10, size=(100, 4))  # 生成一个100行4列的随机整数数组(>=10),作为特征数据
Y = np.random.randint(2, size=100)  # 生成一个包含100个元素的随机整数数组(>=2),作为标签数据
a = np.column_stack((Y, X))  # 将标签和特征数据垂直堆叠
print(a.size)
print(a)

#2. 模型训练
# 创建决策树分类器,使用基尼系数作为分裂准则,最大深度为3
clf = tree.DecisionTreeClassifier(criterion='gini', max_depth=3)#cart模型
# 使用特征数据和标签数据训练决策树模型
result = clf.fit(X, Y)

# 3. 可视化
# 将训练好的决策树模型导出为Graphviz格式的源代码,并创建Source对象
# result1 = tree.export_graphviz(result, out_file=None)
# graph = Source(result1)
graph = Source(tree.export_graphviz(result,out_file=None))
# 设置生成的图像格式为PNG
graph.format = 'png'
# 将Source对象渲染为PNG图像,并自动打开查看
graph.render('cart_tree', view=True)
相关推荐
AI数据皮皮侠14 分钟前
中国区域10m空间分辨率楼高数据集(全国/分省/分市/免费数据)
大数据·人工智能·机器学习·分类·业界资讯
我爱C编程21 分钟前
基于拓扑结构检测的LDPC稀疏校验矩阵高阶环检测算法matlab仿真
算法·matlab·矩阵·ldpc·环检测
算法_小学生27 分钟前
LeetCode 75. 颜色分类(荷兰国旗问题)
算法·leetcode·职场和发展
运器12330 分钟前
【一起来学AI大模型】算法核心:数组/哈希表/树/排序/动态规划(LeetCode精练)
开发语言·人工智能·python·算法·ai·散列表·ai编程
算法_小学生30 分钟前
LeetCode 287. 寻找重复数(不修改数组 + O(1) 空间)
数据结构·算法·leetcode
岁忧30 分钟前
(LeetCode 每日一题) 1865. 找出和为指定值的下标对 (哈希表)
java·c++·算法·leetcode·go·散列表
alphaTao31 分钟前
LeetCode 每日一题 2025/6/30-2025/7/6
算法·leetcode·职场和发展
ゞ 正在缓冲99%…31 分钟前
leetcode67.二进制求和
算法·leetcode·位运算
YuTaoShao34 分钟前
【LeetCode 热题 100】240. 搜索二维矩阵 II——排除法
java·算法·leetcode
张德锋1 小时前
Pytorch实现天气识别
机器学习