sklearn中的决策树-分类树：泰坦尼克号生存预测

亲持红叶2025-02-28 0:32

分类树实例：泰坦尼克号生存预测

代码分解

  • 需要导入的库

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

  • 导入数据集

    python 复制代码 
    """导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()

    ​

  • 对数据集进行预处理

    python 复制代码 
    """对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()

  • 提取标签和特征矩阵，分测试集和训练集

    python 复制代码 
    """提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()

  • 导入模型，粗略跑一下查看结果

    python 复制代码 
    """导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)

"""输出"""
单颗决策树精度 0.8164794007490637
10次交叉验证平均精度 0.7739274770173645

  • 在不同max_depth下观察模型的拟合状况

    python 复制代码 
    """在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。


"""输出"""
测试集交叉验证均值最大值（精度） 0.8177860061287026

    ​

  • 用网格搜索调整参数

    python 复制代码 
    """用网格搜索调整参数"""
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)


"""输出"""
最佳参数 {'criterion': 'entropy'
          , 'max_depth': 9
          , 'min_impurity_decrease': 0.0
          , 'min_samples_leaf': 6
          , 'splitter': 'best'
         }
最佳精度 0.815284178187404

    由此可见，网格搜索并非一定比自己调参好，因为网格搜索无法舍弃无用的参数，默认传入的所有参数必须得都选上。

所有代码

  • 所有代码

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

"""导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()


"""对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()


"""提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()


"""导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)


"""在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。
"""用网格搜索调整参数"""
# gini系数最大为0.5最小为0、信息增益最大为1，最小为0
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)
相关推荐
好心的小明3 小时前
【深度之眼机器学习笔记】04-01-决策树简介、熵，04-02-条件熵及计算举例，04-03-信息增益、ID3算法
笔记·算法·决策树
go54631584654 小时前
Python点阵字生成与优化：从基础实现到高级渲染技术
开发语言·人工智能·python·深度学习·分类·数据挖掘
简简单单做算法9 小时前
基于LSTM深度学习网络的视频类型分类算法matlab仿真
深度学习·matlab·分类·lstm·视频类型分类
霜绛18 小时前
机器学习笔记(三)——决策树、随机森林
人工智能·笔记·学习·决策树·随机森林·机器学习
优宁维生物20 小时前
血液样本的分类与应用
人工智能·分类·数据挖掘
Blossom.11820 小时前
基于深度学习的图像分类：使用DenseNet实现高效分类
人工智能·深度学习·目标检测·机器学习·分类·数据挖掘·迁移学习
赴3351 天前
机器学习 KNN 算法,鸢尾花案例
人工智能·机器学习·sklearn·knn·鸢尾花
从零开始学习人工智能1 天前
智能问答分类系统：基于SVM的用户意图识别
支持向量机·分类·数据挖掘
kev_gogo1 天前
关于回归决策树CART生成算法中的最优化算法详解
算法·决策树·回归
wh_xia_jun1 天前
基于深度学习的胸部 X 光图像肺炎分类系统（四）
人工智能·深度学习·分类
热门推荐
01Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code02全球最强模型Grok4，国内已可免费使用！（附教程）03vue数据变化但页面不变04KGG转MP3工具|非KGM文件|解密音频05干翻 Typora！MilkUp：完全免费的桌面端 Markdown 编辑器！06扣子开源本地部署教程 丨Coze智能体小白喂饭级指南07【2025.7.18】更新vscode后所有.vue文件template标签后报红的临时解决办法，Vue - Official 插件3.0.2导致08ChatGPT Agent 完全使用指南：2025年7月最新功能详解09《魔兽世界》提示lua警告的含义及解决方法10这次领先Cursor！体验了Trae 2.0 SOLO 模式，超酷！