sklearn中的决策树-分类树：泰坦尼克号生存预测

亲持红叶2025-02-28 0:32

分类树实例：泰坦尼克号生存预测

代码分解

  • 需要导入的库

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

  • 导入数据集

    python 复制代码 
    """导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()

    ​

  • 对数据集进行预处理

    python 复制代码 
    """对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()

  • 提取标签和特征矩阵，分测试集和训练集

    python 复制代码 
    """提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()

  • 导入模型，粗略跑一下查看结果

    python 复制代码 
    """导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)

"""输出"""
单颗决策树精度 0.8164794007490637
10次交叉验证平均精度 0.7739274770173645

  • 在不同max_depth下观察模型的拟合状况

    python 复制代码 
    """在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。


"""输出"""
测试集交叉验证均值最大值（精度） 0.8177860061287026

    ​

  • 用网格搜索调整参数

    python 复制代码 
    """用网格搜索调整参数"""
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)


"""输出"""
最佳参数 {'criterion': 'entropy'
          , 'max_depth': 9
          , 'min_impurity_decrease': 0.0
          , 'min_samples_leaf': 6
          , 'splitter': 'best'
         }
最佳精度 0.815284178187404

    由此可见，网格搜索并非一定比自己调参好，因为网格搜索无法舍弃无用的参数，默认传入的所有参数必须得都选上。

所有代码

  • 所有代码

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

"""导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()


"""对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()


"""提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()


"""导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)


"""在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。
"""用网格搜索调整参数"""
# gini系数最大为0.5最小为0、信息增益最大为1，最小为0
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)
相关推荐
乐分启航1 小时前
SliMamba:十余K参数量刷新SOTA！高光谱分类的“降维打击“来了
java·人工智能·深度学习·算法·机器学习·分类·数据挖掘
_codemonster1 小时前
被子植物门 —— 纲、目、科详细梳理 + 分类依据
人工智能·分类·数据挖掘
Fleshy数模6 小时前
基于PyTorch的食品图像分类：数据增强与调优实战
人工智能·pytorch·分类
Daydream.V7 小时前
卷积神经网络——附水果分类案例及参数优化
人工智能·分类·cnn·卷积神经网络
木井巳7 小时前
【递归算法】找出所有子集的异或总和再求和
java·算法·leetcode·决策树·深度优先
木井巳1 天前
【递归算法】子集
java·算法·leetcode·决策树·深度优先
阿钱真强道1 天前
29 Python 聚类：什么是聚类？它和分类到底有什么区别？
python·分类·聚类·监督学习·无监督学习·层次聚类·聚类评估
天辛大师1 天前
天辛大师也谈大模型GEO技术，虚构与误导的重读
大数据·人工智能·决策树·随机森林·启发式算法
ZWZhangYu1 天前
【Gradio系列】使用 Gradio 快速构建机器学习图像分类实战
人工智能·机器学习·分类
动物园猫1 天前
城市道路设施及道路安全隐患数据集分享（适用于YOLO系列深度学习分类检测任务）
深度学习·yolo·分类
热门推荐
01GitHub 镜像站点02Qwen3.5 开源全解析：从 0.8B 到 397B，代际升级 + 全场景选型指南03围棋-html版本04小黑课堂计算机二级WPSoffice题库软件下载安装教程（2026年3月最新版）05班级宠物园部署指南06OpenClaw 使用和管理 MCP 完全指南07UV安装并设置国内源08“wsl --install -d Ubuntu-22.04”下载慢，中国地区离线安装 Ubuntu 22.04 WSL方法（亲测2025年5月6日）09让 Trae IDE 智能体 “读懂”文档 Excel+PDF+DOCX ：mcp-documents-reader 工具使用指南10OpenClaw Control UI安全上下文访问配置