sklearn中的决策树-分类树:泰坦尼克号生存预测

分类树实例:泰坦尼克号生存预测

代码分解
  • 需要导入的库

    python 复制代码
    """导入所需要的库"""
    import pandas as pd
    import numpy as np
    from sklearn.tree import DecisionTreeClassifier
    from sklearn.model_selection import train_test_split
    from sklearn.model_selection import GridSearchCV
    from sklearn.model_selection import cross_val_score
    import matplotlib.pyplot as plt
  • 导入数据集

    python 复制代码
    """导入数据集,探索数据"""
    data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
    data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)
    
    data = pd.concat([data_train,data_test],axis=0)
    data.head()
    data.info()

  • 对数据集进行预处理

    python 复制代码
    """对数据集进行预处理"""
    #删除缺失值过多的列,和观察判断来说和预测的y没有关系的列 
    data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
    #处理缺失值,对缺失值较多的列进行填补,有一些特征只确实一两个值,可以采取直接删除记录的方法 
    data["Age"] = data["Age"].fillna(data["Age"].mean())
    data = data.dropna()
    #将分类变量转换为数值型变量
    #将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型,和apply(int(x))不同,astype可以将文本类转换为数字,用这 个方式可以很便捷地将二分类特征转换为0~1
    data["Sex"] = (data["Sex"]== "male").astype("int")
    #将三分类变量转换为数值型变量
    labels = data["Embarked"].unique().tolist()
    data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
    #查看处理后的数据集 
    data.head()
  • 提取标签和特征矩阵,分测试集和训练集

    python 复制代码
    """提取标签和特征矩阵,分测试集和训练集"""
    X = data.iloc[:,data.columns != "Survived"]
    y = data.iloc[:,data.columns == "Survived"]
    Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
    #修正测试集和训练集的索引(或者直接reset_index(drop=True,inplace=True))
    for i in [Xtrain, Xtest, Ytrain, Ytest]:
        i.index = range(i.shape[0])
    #查看分好的训练集和测试集 
    Xtrain.head()
  • 导入模型,粗略跑一下查看结果

    python 复制代码
    """导入模型,粗略跑一下查看结果"""
    clf = DecisionTreeClassifier(random_state=25)
    clf = clf.fit(Xtrain, Ytrain)
    score_ = clf.score(Xtest, Ytest)
    print('单颗决策树精度',score_)
    score = cross_val_score(clf,X,y,cv=10).mean()
    print('10次交叉验证平均精度',score)
    
    """输出"""
    单颗决策树精度 0.8164794007490637
    10次交叉验证平均精度 0.7739274770173645
  • 在不同max_depth下观察模型的拟合状况

    python 复制代码
    """在不同max_depth下观察模型的拟合状况"""
    tr = [] # 训练集精度
    te = [] # 测试集交叉验证精度
    for i in range(10):
        clf = DecisionTreeClassifier(random_state=25
                                     ,max_depth=i+1
                                     ,criterion="entropy"
                                    )
        clf = clf.fit(Xtrain, Ytrain)
        score_tr = clf.score(Xtrain,Ytrain)
        score_te = cross_val_score(clf,X,y,cv=10).mean()
        tr.append(score_tr)
        te.append(score_te)
    print("测试集交叉验证均值最大值(精度)",max(te))
    plt.figure(figsize=(12,8))
    plt.plot(range(1,11),tr,color="red",label="train")
    plt.plot(range(1,11),te,color="blue",label="test")
    plt.xticks(range(1,11))
    plt.legend()
    plt.show()
    #这里为什么使用"entropy"?因为我们注意到,在最大深度=3的时候,模型拟合不足,在训练集和测试集上的表现接 近,但却都不是非常理想,只能够达到83%左右,所以我们要使用entropy。
    
    
    """输出"""
    测试集交叉验证均值最大值(精度) 0.8177860061287026

  • 网格搜索调整参数

    python 复制代码
    """用网格搜索调整参数"""
    gini_thresholds = np.linspace(0,0.5,20)
    parameters = {'splitter':('best','random')
                  ,'criterion':("gini","entropy")
                  ,"max_depth":[*range(1,10)]
                  ,'min_samples_leaf':[*range(1,50,5)]
                  ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
    }
    clf = DecisionTreeClassifier(random_state=25)
    GS = GridSearchCV(clf, parameters, cv=10)
    GS.fit(Xtrain,Ytrain)
    print('最佳参数',GS.best_params_)
    print('最佳精度',GS.best_score_)
    
    
    """输出"""
    最佳参数 {'criterion': 'entropy'
              , 'max_depth': 9
              , 'min_impurity_decrease': 0.0
              , 'min_samples_leaf': 6
              , 'splitter': 'best'
             }
    最佳精度 0.815284178187404

    由此可见,网格搜索并非一定比自己调参好,因为网格搜索无法舍弃无用的参数,默认传入的所有参数必须得都选上。

所有代码
  • 所有代码

    python 复制代码
    """导入所需要的库"""
    import pandas as pd
    import numpy as np
    from sklearn.tree import DecisionTreeClassifier
    from sklearn.model_selection import train_test_split
    from sklearn.model_selection import GridSearchCV
    from sklearn.model_selection import cross_val_score
    import matplotlib.pyplot as plt
    
    """导入数据集,探索数据"""
    data_train = pd.read_csv('./need/Taitanic_data/data.csv',index_col=0)
    data_test = pd.read_csv('./need/Taitanic_data/test.csv',index_col=0)
    
    data = pd.concat([data_train,data_test],axis=0)
    data.head()
    data.info()
    
    
    """对数据集进行预处理"""
    #删除缺失值过多的列,和观察判断来说和预测的y没有关系的列 
    data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)
    #处理缺失值,对缺失值较多的列进行填补,有一些特征只确实一两个值,可以采取直接删除记录的方法 
    data["Age"] = data["Age"].fillna(data["Age"].mean())
    data = data.dropna()
    #将分类变量转换为数值型变量
    #将二分类变量转换为数值型变量 #astype能够将一个pandas对象转换为某种类型,和apply(int(x))不同,astype可以将文本类转换为数字,用这 个方式可以很便捷地将二分类特征转换为0~1
    data["Sex"] = (data["Sex"]== "male").astype("int")
    #将三分类变量转换为数值型变量
    labels = data["Embarked"].unique().tolist()
    data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))
    #查看处理后的数据集 
    data.head()
    
    
    """提取标签和特征矩阵,分测试集和训练集"""
    X = data.iloc[:,data.columns != "Survived"]
    y = data.iloc[:,data.columns == "Survived"]
    Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)
    #修正测试集和训练集的索引(或者直接reset_index(drop=True,inplace=True))
    for i in [Xtrain, Xtest, Ytrain, Ytest]:
        i.index = range(i.shape[0])
    #查看分好的训练集和测试集 
    Xtrain.head()
    
    
    """导入模型,粗略跑一下查看结果"""
    clf = DecisionTreeClassifier(random_state=25)
    clf = clf.fit(Xtrain, Ytrain)
    score_ = clf.score(Xtest, Ytest)
    print('单颗决策树精度',score_)
    score = cross_val_score(clf,X,y,cv=10).mean()
    print('10次交叉验证平均精度',score)
    
    
    """在不同max_depth下观察模型的拟合状况"""
    tr = [] # 训练集精度
    te = [] # 测试集交叉验证精度
    for i in range(10):
        clf = DecisionTreeClassifier(random_state=25
                                     ,max_depth=i+1
                                     ,criterion="entropy"
                                    )
        clf = clf.fit(Xtrain, Ytrain)
        score_tr = clf.score(Xtrain,Ytrain)
        score_te = cross_val_score(clf,X,y,cv=10).mean()
        tr.append(score_tr)
        te.append(score_te)
    print("测试集交叉验证均值最大值(精度)",max(te))
    plt.figure(figsize=(12,8))
    plt.plot(range(1,11),tr,color="red",label="train")
    plt.plot(range(1,11),te,color="blue",label="test")
    plt.xticks(range(1,11))
    plt.legend()
    plt.show()
    #这里为什么使用"entropy"?因为我们注意到,在最大深度=3的时候,模型拟合不足,在训练集和测试集上的表现接 近,但却都不是非常理想,只能够达到83%左右,所以我们要使用entropy。
    """用网格搜索调整参数"""
    # gini系数最大为0.5最小为0、信息增益最大为1,最小为0
    gini_thresholds = np.linspace(0,0.5,20)
    parameters = {'splitter':('best','random')
                  ,'criterion':("gini","entropy")
                  ,"max_depth":[*range(1,10)]
                  ,'min_samples_leaf':[*range(1,50,5)]
                  ,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
    }
    clf = DecisionTreeClassifier(random_state=25)
    GS = GridSearchCV(clf, parameters, cv=10)
    GS.fit(Xtrain,Ytrain)
    print('最佳参数',GS.best_params_)
    print('最佳精度',GS.best_score_)
相关推荐
.30-06Springfield3 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
羊小猪~~14 小时前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
Blossom.1181 天前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
有Li2 天前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
加油吧zkf2 天前
目标检测新纪元:DETR到Mamba实战解析
图像处理·人工智能·python·目标检测·分类
羊小猪~~2 天前
【NLP入门系列四】评论文本分类入门案例
人工智能·自然语言处理·分类
蓝婷儿3 天前
Python 机器学习核心入门与实战进阶 Day 1 - 分类 vs 回归
python·机器学习·分类
.30-06Springfield3 天前
利用人名语言分类案例演示RNN、LSTM和GRU的区别(基于PyTorch)
人工智能·pytorch·python·rnn·分类·gru·lstm
归去_来兮3 天前
支持向量机(SVM)分类
机器学习·支持向量机·分类
不秃的卤蛋12 天前
回归任务与分类任务的区别
人工智能·分类·数据挖掘·回归