【菜菜的sklearn机器学习】(1)决策树

课程学习:1 2. 决策树:概述_哔哩哔哩_bilibili

课程1 -决策树DecisionTreeClassifier

决策树的基本流程 (找特征-计算不纯度-分)、八个参数、一个属性、四个接口、决策树绘图export_graphviz

八个参数:criterion、2随机参数(random_state、split)、

5剪枝参数(max_depth、min_samples_leaf、min_sample_split、max_feature、min_purity_decrease)

一个属性:feature_importances_

四个接口:fit、score、apply、predict

决策树:从一系列有特征和标签的数据中总结出决策规则。(表格转树)

非参数(不需要太多预处理)的有监督学习(输入标签)

Q1如何找出最佳节点和最佳分支

Q2如何让决策树停止生长 防止过拟合

sklearn.tree

建模的基本流程:

①实例化,建立模型评估对象:明确实例化时需要使用的参数

②通过模型接口训练模型(训练集放入1的评估对象):数据属性、数据接口

③通过模型接口提取需要的信息

from sklearn import tree

clf = tree.DecisionTreeClassifier()

clf = clf.fit(x_train, y_train)

result = clf.score(x_test, y_test)

DecisionTreeClassifier与红酒数据集

++++1、重要参数criterion:不纯度计算++++,越低则对训练集的拟合越好,需要不断优化

不纯度是基于节点计算的,子节点一定低于父节点。

计算全部特征的不纯度指标,选取不纯度最优的特征来分枝,在该特征分枝下再次计算不纯度,再选取最优,再...

输入:

entropy信息熵:父节点与子节点之间的信息增益,决策树的拟合程度不够的时候用

gini基尼系数:常用,默认,数据维度大,噪音大的时候用

数据维度大的时候用gini,维度低数据清晰时两者没有区别。可以都试试,不好就换另一个。

++++2、Random_state&splitter:控制决策树的随机性++++

Random_state用来设置分枝中的随机模式的参数,默认None,再高纬度时随机性表现明显,低纬度随机性几乎不显现(鸢尾花数据集4个特征)

Splitter也是用来控制随机性,best和random(特征很多,容易过拟合时)

3、剪枝参数

Max_depth:限制树的最大深度,超过的全剪掉;最广泛的剪枝参数,高维度低样本量时非常有效,建议从3开始. 一般用作树的精修

Min_samples_leaf一个节点在分支后的每个子节点都必须包含至少msl个训练样本,否则分支就不会发生;

min_samples_split:

max_features:限制分枝时考虑的特征个数,超过限制个数的特征都会被舍弃

和max_depth异曲同工

Min_impurity_decrease限制信息增益的大小,小于特定值的分枝不会发生

如何确定参数值呢?用matplotlib绘图

但是那么多参数,不可能一一绘制分别选最佳=>后面会调多参方法

加参不一定效果变好,数据本身

6、class_weight & min_weight_fraction_leaf:控制目标权重

7、重要属性和接口

所有接口中要求输入Xtrain和Xtest的部分,输入的特征矩阵必须至少是一个二维矩阵,sklearn不接受任何一维矩阵作为特征矩阵被输入。如果输入数据只有一个特征,那必须使用reshape(-1,1)来给矩阵增维;如果数据只有一个特征和一个样本,用reshape(1,-1)来给数据增维。

Clf.apply(Xtest)返回每个测试样本所在叶子节点的索引

Clf.predict返回每个测试样本的分类/回归结果

8、分类树不擅长环形数据。当一个模型怎么调整都不行的时候,可以换模型。

最擅长月亮型数据的是最近邻算法,RBF支持向量机和高斯过程;

最擅长环形数据的是最近邻算法和高斯过程;

最擅长对半分数据的是朴素贝叶斯、神经网络和随机森林。

相关推荐
大G哥2 分钟前
深度学习 | 什么是知识图谱
人工智能·深度学习·知识图谱
int WINGsssss3 分钟前
使用系统内NCCL环境重新编译Pytorch
人工智能·pytorch·python
孤单网愈云4 分钟前
11.25Pytorch_手动构建模型实战
人工智能·pytorch·python
相识已是上上签4 分钟前
YOLOv8模型pytorch格式转为onnx格式
人工智能·pytorch·yolo
ZXF_H1 小时前
pip安装github上的开源软件包
git·python·github·pip
没事别学JAVA1 小时前
使用Python编写Windows系统服务管理脚本,主要用于管理mysql、postgresql等服务
windows·python
yivifu2 小时前
用python将一个扫描pdf文件改成二值图片组成的pdf文件
python·pdf·numpy·pillow·pymupdf
一尘之中2 小时前
使用 PyTorch TunableOp 加速 ROCm 上的模型
人工智能·pytorch·学习
Eric.Lee20213 小时前
数据集-目标检测系列- 装甲车 检测数据集 armored_vehicles >> DataBall
python·算法·yolo·目标检测·装甲车检测
Eric.Lee20213 小时前
数据集-目标检测系列- 牵牛花 检测数据集 morning_glory >> DataBall
人工智能·python·yolo·目标检测·计算机视觉·牵牛花检测