【模型】5分钟了解决策树是一个什么模型

本站原创文章,转载请说明来自《老饼讲解-机器学习》[www.bbbdata.com(https://www.bbbdata.com/ml)

决策树模型是机器学习中不可不学的模型之一,本文简单直接地快速讲解决策树是什么,如何实现。

一、决策树模型

决策树一般包括ID3决策树,C4.5决策树与CART决策树。

ID3与C4.5决策树是基于熵的概念构建的决策树,现在已经用得相对较少,目前用得较多的是CART决策树。

CART决策树全称为Classification And Regression Tree,即分类与回归树。因此CART决策树既可以用来做分类,又可以用来做回归。

1.1.ID3决策树

ID3决策树是最早提出的决策树,它的变量是枚举变量,然后根据枚举值不断分枝决策,最终到达的叶子节点就是模型的预测结果。ID3决策树在构建时使用信息熵的来确定选择哪个变量进行构建。

1.2. CART决策树

CART决策树模型是一棵二叉树,如下:

CART决策树模型是一棵二叉树,会根据变量不断地进行判断,最后到达叶子节点时,节点上的类别(做回归时则是值)就是模型的预测结果。CART决策树在构建时一般使用GINI系数来确定选择哪个变量来构建。

CART决策树的详细构建流程可参考:【原理】CART决策树构建过程详细讲解

1.3. C4.5决策树

C4.5决策树可以认为是ID3决策树到CART决策树的过渡,即支持枚举变量,又支持连续变量。C4.5决策树使用信息增益比来确定选择哪个变量进行构建。

二、如何在python中构建一棵决策树

2.1. 数据说明

不妨以鸢尾花数据为例(即sk-learn中的iris数据)

鸢尾花数据共有150个样本,包括鸢尾花的四个特征与鸢尾花的类别,具体数据如下:

花萼长度 sepal length (cm) 、花萼宽度 sepal width (cm)

花瓣长度 petal length (cm) 、花瓣宽度 petal width (cm)

山鸢尾:0,杂色鸢尾:1,弗吉尼亚鸢尾:2

2.2. python中构建一棵CART决策树

下面使用python的sklearn包来构建一棵CART决策树,具体代码如下:

python 复制代码
from sklearn.datasets import load_iris
from sklearn import tree
#----------------数据准备--------------------
iris = load_iris()                                 # 加载数据
#---------------模型训练---------------------
clf = tree.DecisionTreeClassifier()                # sk-learn的决策树模型
clf = clf.fit(iris.data, iris.target)              # 用数据训练树模型构建()
r = tree.export_text(clf, feature_names=iris['feature_names'])

#---------------模型预测结果------------------
text_x = iris.data[[0,1,50,51,100,101], :]
pred_target_prob = clf.predict_proba(text_x)        # 预测类别概率
pred_target = clf.predict(text_x)                   # 预测类别

#---------------打印结果---------------------
print("\n===模型======")
print(r)
print("\n===测试数据:=====")
print(text_x)
print("\n===预测所属类别概率:=====")
print(pred_target_prob)
print("\n===预测所属类别:======")
print(pred_target)

运行结果如下:

构建好的决策树模型:

预测结果:

可以看到模型的预测结果是正确的。

三、如何将决策树可视化

要绘画出决策树的模型结构,可以使用graphviz 包,下面是一个代码示例与实现效果。

python 复制代码
from sklearn.datasets import load_iris
from sklearn import tree
import graphviz 
#----------------数据准备----------------------------
iris = load_iris()                          # 加载数据
#---------------模型训练----------------------------------
clf = tree.DecisionTreeClassifier()         # sk-learn的决策树模型
clf = clf.fit(iris.data, iris.target)       # 用数据训练树模型构建()
r = tree.export_text(clf, feature_names=iris['feature_names'])
dot_data = tree.export_graphviz(clf, out_file=None, 
                     feature_names=iris.feature_names,  
                     class_names=iris.target_names,  
                      filled=True, rounded=True,  
                      special_characters=True)  
graph = graphviz.Source(dot_data)  
graph                                    # 显示图形。(如果没显示,则需要独立运行这一句)
#graph.render("iris")                    # 将图形保存为iris.pdf文件。
#graph.view()                            # 直接打开pdf文件展示

运行后就可以打印出决策树的模型结构,如下:

上面的图比较丑,是graphviz 的默认图案。实际上graphviz 是非常强大的,可以按自己的喜爱设置得更加好看。

特别说明的是,软件中一般都只实现CART决策树, 如果要实现ID3或C4.5决策树,就需要自己仔细地去按原理重新实现了。


相关链接:

《老饼讲解-机器学习》:老饼讲解-机器学习教程-通俗易懂

《老饼讲解-神经网络》:老饼讲解-matlab神经网络-通俗易懂

《老饼讲解-神经网络》:老饼讲解-深度学习-通俗易懂

相关推荐
凌肖战3 小时前
力扣网编程55题:跳跃游戏之逆向思维
算法·leetcode
88号技师3 小时前
2025年6月一区-田忌赛马优化算法Tianji’s horse racing optimization-附Matlab免费代码
开发语言·算法·matlab·优化算法
ゞ 正在缓冲99%…4 小时前
leetcode918.环形子数组的最大和
数据结构·算法·leetcode·动态规划
Kaltistss5 小时前
98.验证二叉搜索树
算法·leetcode·职场和发展
知己如祭5 小时前
图论基础(DFS、BFS、拓扑排序)
算法
mit6.8245 小时前
[Cyclone] 哈希算法 | SIMD优化哈希计算 | 大数运算 (Int类)
算法·哈希算法
c++bug5 小时前
动态规划VS记忆化搜索(2)
算法·动态规划
哪 吒5 小时前
2025B卷 - 华为OD机试七日集训第5期 - 按算法分类,由易到难,循序渐进,玩转OD(Python/JS/C/C++)
python·算法·华为od·华为od机试·2025b卷
acstdm5 小时前
DAY 48 CBAM注意力
人工智能·深度学习·机器学习
军训猫猫头6 小时前
1.如何对多个控件进行高效的绑定 C#例子 WPF例子
开发语言·算法·c#·.net