决策树(Python)

决策树(Decision Tree)

为达到目标,根据一定的条件进行选择的过程,就是决策树,常用于分类

构成元素是结点和边

  • 结点:根据样本的特征作出判断,根节点、叶节点。
  • 边:指示方向。

衡量标准------熵

这里熵表示样本种类的丰富性,样本种类越多越混乱,熵越大;假若全部属于同一类,则熵等于零。

构造的基本思路

随着层数增加,让熵快速降低,降低速率越快,效率越高。

缺点------过拟合

解决------剪枝

  1. 预剪枝:达某条件就停止
  2. 后剪枝:先得树,再加上限制条件(如叶节点个数)进行剪枝。

Python代码

python 复制代码
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score
import pandas as pd

# 读取数据
data = pd.read_csv('data.csv')

# 假设数据中的最后一列是目标变量,其余列是特征
X = data.iloc[:, :-1]
y = data.iloc[:, -1]

# 将数据集拆分为训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 创建决策树分类器
dt_classifier = DecisionTreeClassifier(random_state=42)

# 训练模型
dt_classifier.fit(X_train, y_train)

# 在测试集上进行预测
y_pred = dt_classifier.predict(X_test)
print(y_pred)
print(y_test)
# 评估模型准确性
accuracy = accuracy_score(y_test, y_pred)
print(f'Model Accuracy: {accuracy}')

附:构造样例数据的实例代码

python 复制代码
# 以通过学生的数学和英语成绩预测是否通过为例
import pandas as pd
import numpy as np
df = pd.DataFrame({
    'Math_Score': [np.random.randint(40, 101) for x1 in range(100)],
    'English_Score': [np.random.randint(40, 101) for x2 in range(100)],
    'Pass': [np.random.randint(0, 2) for x3 in range(100)],
})
df.to_csv('data.csv')
相关推荐
合作小小程序员小小店5 分钟前
桌面预测类开发,桌面%性别,姓名预测%系统开发,基于python,scikit-learn机器学习算法(sklearn)实现,分类算法,CSV无数据库
python·算法·机器学习·scikit-learn·sklearn
三年呀5 分钟前
量子机器学习深度探索:从原理到实践的全面指南
人工智能·深度学习·机器学习·量子计算
洛_尘21 分钟前
数据结构--4:栈和队列
java·数据结构·算法
Jiezcode31 分钟前
LeetCode 138.随机链表的复制
数据结构·c++·算法·leetcode·链表
zhengjianyang&12336 分钟前
美团滑块-[behavior] 加密分析
javascript·经验分享·爬虫·算法·node.js
翟天保Steven37 分钟前
ITK-基于欧拉变换与质心对齐的二维刚性配准算法
算法
真智AI1 小时前
从入门到精通:机器学习工程师成长之路
人工智能·机器学习·mlops
Lilianac1 小时前
机器学习概念梳理
人工智能·机器学习
Simucal1 小时前
基于物理引导粒子群算法的Si基GaN功率器件特性精准拟合
人工智能·算法·生成对抗网络
烦躁的大鼻嘎2 小时前
【Linux】深入探索多线程编程:从互斥锁到高性能线程池实战
linux·运维·服务器·开发语言·c++·算法·ubuntu