课程学习:1 2. 决策树:概述_哔哩哔哩_bilibili
课程1 -决策树DecisionTreeClassifier
决策树的基本流程 (找特征-计算不纯度-分)、八个参数、一个属性、四个接口、决策树绘图export_graphviz
八个参数:criterion、2随机参数(random_state、split)、
5剪枝参数(max_depth、min_samples_leaf、min_sample_split、max_feature、min_purity_decrease)
一个属性:feature_importances_
四个接口:fit、score、apply、predict
决策树:从一系列有特征和标签的数据中总结出决策规则。(表格转树)
非参数(不需要太多预处理)的有监督学习(输入标签)
Q1如何找出最佳节点和最佳分支
Q2如何让决策树停止生长 防止过拟合
sklearn.tree
建模的基本流程:
①实例化,建立模型评估对象:明确实例化时需要使用的参数
②通过模型接口训练模型(训练集放入1的评估对象):数据属性、数据接口
③通过模型接口提取需要的信息
from sklearn import tree
clf = tree.DecisionTreeClassifier()
clf = clf.fit(x_train, y_train)
result = clf.score(x_test, y_test)
DecisionTreeClassifier与红酒数据集
++++1、重要参数criterion:不纯度计算++++,越低则对训练集的拟合越好,需要不断优化
不纯度是基于节点计算的,子节点一定低于父节点。
计算全部特征的不纯度指标,选取不纯度最优的特征来分枝,在该特征分枝下再次计算不纯度,再选取最优,再...
输入:
entropy信息熵:父节点与子节点之间的信息增益,决策树的拟合程度不够的时候用
gini基尼系数:常用,默认,数据维度大,噪音大的时候用
数据维度大的时候用gini,维度低数据清晰时两者没有区别。可以都试试,不好就换另一个。
++++2、Random_state&splitter:控制决策树的随机性++++
Random_state用来设置分枝中的随机模式的参数,默认None,再高纬度时随机性表现明显,低纬度随机性几乎不显现(鸢尾花数据集4个特征)
Splitter也是用来控制随机性,best和random(特征很多,容易过拟合时)
3、剪枝参数
Max_depth:限制树的最大深度,超过的全剪掉;最广泛的剪枝参数,高维度低样本量时非常有效,建议从3开始. 一般用作树的精修
Min_samples_leaf一个节点在分支后的每个子节点都必须包含至少msl个训练样本,否则分支就不会发生;
min_samples_split:
max_features:限制分枝时考虑的特征个数,超过限制个数的特征都会被舍弃
和max_depth异曲同工
Min_impurity_decrease限制信息增益的大小,小于特定值的分枝不会发生
如何确定参数值呢?用matplotlib绘图
但是那么多参数,不可能一一绘制分别选最佳=>后面会调多参方法
加参不一定效果变好,数据本身
6、class_weight & min_weight_fraction_leaf:控制目标权重
7、重要属性和接口
所有接口中要求输入Xtrain和Xtest的部分,输入的特征矩阵必须至少是一个二维矩阵,sklearn不接受任何一维矩阵作为特征矩阵被输入。如果输入数据只有一个特征,那必须使用reshape(-1,1)来给矩阵增维;如果数据只有一个特征和一个样本,用reshape(1,-1)来给数据增维。
Clf.apply(Xtest)返回每个测试样本所在叶子节点的索引
Clf.predict返回每个测试样本的分类/回归结果
8、分类树不擅长环形数据。当一个模型怎么调整都不行的时候,可以换模型。
最擅长月亮型数据的是最近邻算法,RBF支持向量机和高斯过程;
最擅长环形数据的是最近邻算法和高斯过程;
最擅长对半分数据的是朴素贝叶斯、神经网络和随机森林。