决策树oo

决策树学习的算法通常是一个递归地选择最优特征(选择方法的不同,对应着不同的算法),并根据该特征对训练数据进行分割,使得各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分,也对应着决策树的构建

步骤(译)

从根节点开始

计算所有可能特征的信息增益,并选择信息增益最高的特征

根据选择的特征对数据集进行拆分,并创建树的左右分支

继续重复分割过程,直到满足停止条件:

当一个节点100%是一个类时当分割节点时

将导致树超过最大深度

额外分割的信息增益小于阈值

当一个节点中的样例数量低于阈值时

简单实例

python 复制代码
# 导入所需的库
from sklearn.tree import DecisionTreeClassifier
from sklearn import tree
import matplotlib.pyplot as plt
import numpy as np

# 解决中文乱码问题
plt.rcParams['font.sans-serif']=['SimHei'] 
# 创建训练数据集
X = np.array([[0, 150], [0, 200], [1, 160], [1, 190], [0, 180],
              [1, 140], [1, 210], [0, 175], [0, 220], [1, 165],
              [1, 155], [0, 185], [0, 195], [1, 170], [1, 200]])
y = np.array([0, 0, 1, 1, 0, 1, 0, 0, 0, 1, 1, 0, 0, 1, 1])

# 创建深度等于3的决策树模型
model = DecisionTreeClassifier(max_depth=3)

# 训练模型
model.fit(X, y)

# 可视化生成的决策树
plt.figure(figsize=(12, 8))
tree.plot_tree(model, filled=True, feature_names=["颜色", "重量"], class_names=["苹果", "橙子"])
plt.title("决策树示例")
plt.show()
相关推荐
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
武子康12 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
XLYcmy14 小时前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
武子康17 小时前
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?
大数据·人工智能·算法
卡尔曼的BD SLAMer17 小时前
北斗导航 |GNSS ION论文集汇总1997到2022(链接在文末)
算法·北斗导航
时间的拾荒人17 小时前
Redis Cluster 集群详解:分片算法、搭建、故障处理与扩容实战
数据库·redis·算法·集群
在所不辞兄19 小时前
【人工智能驱动的电催化研究-07】CSV文件、路径与可追溯记录
人工智能·深度学习·神经网络·机器学习·有限元·电化学·电催化
老师我太想进步了202619 小时前
【数据结构-8】栈的实现
c语言·数据结构·算法
kyle~20 小时前
因子图优化(Factor Graph Optimization)
c++·算法·机器人·传感器