24/8/8算法笔记 决策树构建鸢尾花

决策树是一种由算法自动设计的模型。在机器学习中,构建决策树的过程通常遵循以下步骤:

  1. 特征选择:算法会评估每个特征,并选择一个特征作为节点分裂的依据。这个选择基于某种准则,如信息增益(ID3算法)或Gini不纯度(CART算法)。

  2. 最佳分裂点确定:算法会计算每个特征的所有可能分裂点,并选择一个使得不纯度最小(或信息增益最大)的分裂点。

  3. 递归分裂:在选择了特征和分裂点后,算法会递归地对数据集的每个子集重复上述过程,直到满足停止条件。

  4. 停止条件:停止条件可以是多种因素,例如:

    • 数据集的不纯度低于某个阈值。
    • 达到预设的最大树深度。
    • 节点中的样本数量低于某个阈值。
    • 没有更多的特征可以用来分裂。
  5. 剪枝:为了防止过拟合,算法可能会采用剪枝技术来减少树的复杂度。这包括预剪枝(在生长过程中限制树的大小)和后剪枝(先生长整棵树,然后从底部剪除不必要的分支)。

  6. 输出模型:最终,算法会输出一个决策树模型,该模型可以通过一系列的问题(特征和分裂点)来对新的数据点进行分类。

首先导入库和数据,分割数据集,创建 DecisionTreeClassifier 的实例并使用训练集数据对其进行训练。预测分数

复制代码
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn import datasets
import graphviz
from sklearn.model_selection import train_test_split
from sklearn import tree

iris = datasets.load_iris()
X = iris['data']
y = iris['target']

feature_names = iris['feature_names']

X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.2,random_state =256)


model = DecisionTreeClassifier()
model.fit(X_train,y_train)


print('测试数据得分',model.score(X_test,y_test))

print('算法预测结果',model.predict(X_test))
print('真实结果    ',y_test)
复制代码
#逻辑斯蒂回归中,手动计算过概率
model.predict_proba(X_test)

构建决策树

复制代码
dot_data = tree.export_graphviz(model,filled=True,rounded=True,feature_names=feature_names)

graphviz.Source(dot_data)

我们可以分析出构建的决策树使用了以下特征和策略:

  1. 特征选择:决策树使用了鸢尾花数据集中的以下特征:

    • petal length (cm):花瓣长度
    • petal width (cm):花瓣宽度
    • sepal width (cm):萼片宽度
  2. 分裂准则:决策树的每个节点都基于某个特征的阈值进行分裂,例如 "petal length (cm) <= 2.45" 表示如果花瓣长度小于或等于2.45厘米,则按照这个条件进行数据的分裂。

  3. Gini不纯度:每个节点都显示了Gini不纯度值,这是衡量数据集纯度的指标。Gini不纯度越低,表示数据集的纯度越高。例如,一个节点显示 "gini = 0.666" 表示该节点的不纯度较高,而 "gini = 0.0" 表示该节点的样本全部属于同一类别。

  4. 样本数量:每个节点都显示了该节点下的样本数量,例如 "samples = 120" 表示该节点下有120个样本。

  5. 类别分布:每个节点都显示了该节点下各个类别的样本数量,例如 "value = [39, 39, 42]" 表示该节点下有39个样本属于第一类,39个样本属于第二类,42个样本属于第三类。

  6. 递归分裂:决策树通过递归的方式进行分裂,直到满足停止条件,例如Gini不纯度降至0(所有样本属于同一类别)或者达到预设的最大深度。

  7. 停止条件:当一个节点的Gini不纯度降至0,或者样本数量很少时,分裂会停止。例如,"gini = 0.0" 表示该节点下的所有样本都属于同一类别,不需要进一步分裂。

  8. 特征重要性:从截图中可以看出,花瓣长度和宽度的特征在多个节点中被用作分裂准则,这表明这些特征对于分类可能更为重要。

  9. 树的深度:从截图中可以看出,树的深度相对较浅,这意味着模型可能没有过拟合,但也可能没有捕捉到数据的所有特征。

  10. 预测结果:最终,每个叶节点都会给出一个预测结果,通常是多数投票的结果。

相关推荐
haogexiaole22 分钟前
Dijkstra 算法
算法
lingggggaaaa1 小时前
小迪安全v2023学习笔记(八十一讲)—— 框架安全&ThinkPHP&Laravel&Struts2&SpringBoot&CVE复现
笔记·学习·struts·安全·网络安全·laravel
papership2 小时前
【入门级-算法-6、排序算法: 插入排序】
数据结构·算法·排序算法
HAH-HAH2 小时前
【蓝桥杯 2024 国 Java A】粉刷匠小蓝
c++·学习·数学·算法·职场和发展·蓝桥杯·组合数学
hweiyu003 小时前
C++设计模式,高级开发,算法原理实战,系统设计与实战(视频教程)
c++·算法·设计模式
大千AI助手3 小时前
粒子群优化(PSO)算法详解:从鸟群行为到强大优化工具
人工智能·算法·优化算法·pso·粒子群优化
我叫汪枫4 小时前
C语言深度入门系列:第十一篇 - 动态内存管理与数据结构:程序世界的高效算法大师
c语言·数据结构·算法
Li_7695324 小时前
优选算法100 题 ——1 双指针
算法
ooolmf4 小时前
照度传感器考虑笔记
笔记·单片机
77qqqiqi4 小时前
算法——数学基础
算法