sklearn中的决策树-分类树：泰坦尼克号生存预测

亲持红叶2025-02-28 0:32

分类树实例：泰坦尼克号生存预测

代码分解

  • 需要导入的库

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

  • 导入数据集

    python 复制代码 
    """导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()

    ​

  • 对数据集进行预处理

    python 复制代码 
    """对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()

  • 提取标签和特征矩阵，分测试集和训练集

    python 复制代码 
    """提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()

  • 导入模型，粗略跑一下查看结果

    python 复制代码 
    """导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)

"""输出"""
单颗决策树精度 0.8164794007490637
10次交叉验证平均精度 0.7739274770173645

  • 在不同max_depth下观察模型的拟合状况

    python 复制代码 
    """在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。


"""输出"""
测试集交叉验证均值最大值（精度） 0.8177860061287026

    ​

  • 用网格搜索调整参数

    python 复制代码 
    """用网格搜索调整参数"""
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)


"""输出"""
最佳参数 {'criterion': 'entropy'
          , 'max_depth': 9
          , 'min_impurity_decrease': 0.0
          , 'min_samples_leaf': 6
          , 'splitter': 'best'
         }
最佳精度 0.815284178187404

    由此可见，网格搜索并非一定比自己调参好，因为网格搜索无法舍弃无用的参数，默认传入的所有参数必须得都选上。

所有代码

  • 所有代码

    python 复制代码 
    """导入所需要的库"""
import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

"""导入数据集，探索数据"""
data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)

data = pd.concat([data_train,data_test],axis=0)
data.head()
data.info()


"""对数据集进行预处理"""
#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列 
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法 
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()
#将分类变量转换为数值型变量
#将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这 个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")
#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
#查看处理后的数据集 
data.head()


"""提取标签和特征矩阵，分测试集和训练集"""
X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
#修正测试集和训练集的索引（或者直接reset_index(drop=True,inplace=True)）
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
#查看分好的训练集和测试集 
Xtrain.head()


"""导入模型，粗略跑一下查看结果"""
clf = DecisionTreeClassifier(random_state=25)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)
print('单颗决策树精度',score_)
score = cross_val_score(clf,X,y,cv=10).mean()
print('10次交叉验证平均精度',score)


"""在不同max_depth下观察模型的拟合状况"""
tr = [] # 训练集精度
te = [] # 测试集交叉验证精度
for i in range(10):
    clf = DecisionTreeClassifier(random_state=25
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = cross_val_score(clf,X,y,cv=10).mean()
    tr.append(score_tr)
    te.append(score_te)
print("测试集交叉验证均值最大值（精度）",max(te))
plt.figure(figsize=(12,8))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()
#这里为什么使用"entropy"?因为我们注意到，在最大深度=3的时候，模型拟合不足，在训练集和测试集上的表现接 近，但却都不是非常理想，只能够达到83%左右，所以我们要使用entropy。
"""用网格搜索调整参数"""
# gini系数最大为0.5最小为0、信息增益最大为1，最小为0
gini_thresholds = np.linspace(0,0.5,20)
parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":[*range(1,10)]
              ,'min_samples_leaf':[*range(1,50,5)]
              ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
clf = DecisionTreeClassifier(random_state=25)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)
print('最佳参数',GS.best_params_)
print('最佳精度',GS.best_score_)
相关推荐
Thomas.Sir13 小时前
第24课：TensorFlow｜图像分类实战训练【手写数字、日常图像分类完整项目】
人工智能·分类·tensorflow
聚铭网络14 小时前
【一周安全资讯】两项数据资产分类与登记国家标准9月1日实施；索尼、华纳联合起诉Anthropic，指控盗用版权音乐训练Claude模型
人工智能·安全·分类
陈年老古董14 小时前
矿物分类实战：从传统机器学习到深度学习（含PyTorch实现）
笔记·深度学习·学习·机器学习·分类
leihefeng14 小时前
邮件文本分类：CountVectorizer / TF-IDF + 朴素贝叶斯
python·分类·数据挖掘·tf-idf·sklearn
KKKlucifer15 小时前
多模态数据精准识别：智能分类分级引擎在运营商场景的技术突破
人工智能·分类·数据挖掘
克里斯蒂亚诺更新2 天前
机器学习库sklearn的主要任务
人工智能·机器学习·sklearn
Jialu.2 天前
中文 BERT 多任务分类项目：从模型结构到训练细节
人工智能·pytorch·分类·微软·nlp·bert
YOLO数据集集合2 天前
无人机屋顶与地物分割数据集 | 屋顶分割 航拍识别 城市规划 材质分类 实例分割9036期
人工智能·分类·无人机·材质·中国城市建筑·建筑识别
YOLO数据集集合3 天前
无人机型号识别数据集 | 无人机型号识别 细粒度分类 低空安防 无人机机型识别 大疆无人机 低空威胁9039期
目标检测·分类·数据挖掘·无人机·无人机数据集·无人机机型识别·无人机类别
在所不辞兄3 天前
【零基础学智能仿真-06】决策树——让模型自动发现力学失效阈值
算法·决策树·机器学习
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02ZCode 周末送额度活动开启：3 亿 Token 免费领取03GitHub 镜像站点04蜘蛛磁力 搜索引擎大全，如何使用蜘蛛磁力查找磁力链接05历年考研数学一、数学二、数学三真题试卷及答案PDF062026 国产 AI 大模型横评：DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打？07微信历史版本含下载地址（ Windows PC | 安卓 | MAC ）及设置微信不更新08AI 编程 IDE 全景解析 2026：Agent 全面接管开发链路09Agnes AI 免费 API 接入指南：文本、生图、生视频，一套接口全免费10VSCode SSH 连接远程服务器后，Codex 插件登录失败