3.5 认识决策树

3.5 认识决策树

3.5.1 认识决策树

如何高效的进行决策? 特征的先后顺序

3.5.2 决策树分类原理详解

已知有四个特征,预测 是否贷款给某个人。

先看房子,再看工作,是否贷款。

年龄,信贷情况,工作,是否贷款

1 原理

信息熵,信息增益等。

需要用到信息论的知识!问题:通过例子引入信息熵

信息论基础:

1)信息

香农:消除随机不定性的东西

小明 年龄 "我今年18岁" 是信息

小华 "小明明年19岁" (不是信息,因为我已经知道小明18岁)

2) 信息的衡量 ------信息量------ 信息熵

2 信息熵的定义

H的专业术语之为信息熵,单位为比特 bit

3 决策树的划分依据之一信息增益

4 决策树的划分依据------信息增益

当然决策树的原理不止信息增益这一种,还有其他方法,但是原理都类似,我们就不去举例计算。

3.5.3 决策树API

3.5.4 案例:泰坦尼克号乘客生存预测

流程分析:

特征值 目标值

1)获取数据

2)数据处理

缺失值处理

特征值------>字典类型

3)准备好特征值 目标值

4)划分数据集

5)特征工程:字典特征抽取

6)决策树预估器流程

7)模型评估

3.5.5 决策树可视化

1 保存树的结构到dot文件

3.5.6 决策树总结

优点:

简单的理解和解释,树木可视化

缺点:

决策树学习者可以创建不能很好推广数据的过于复杂的树,这被称为过拟合。

改进:

减枝cart算法(决策树API当中已经实现,随意森林参数调优有相关介绍)

随机森林

注意:企业重要决策,由于决策树很好的分析能力,在决策过程中应用较多,可以选择特征

3.5.7 总结

信息熵,信息增益的计算

DecisonTreeClassifier进行决策树的划分

export_graphviz导出到dot文件

相关推荐
Felven9 分钟前
A. Ideal Generator
java·数据结构·算法
MoonBit月兔38 分钟前
双周报Vol.70: 运算符重载语义变化、String API 改动、IDE Markdown 格式支持优化...多项更新升级!
ide·算法·哈希算法
How_doyou_do42 分钟前
树状数组底层逻辑探讨 / 模版代码-P3374-P3368
数据结构·算法·树状数组
layneyao1 小时前
深度强化学习(DRL)实战:从AlphaGo到自动驾驶
人工智能·机器学习·自动驾驶
悲喜自渡7211 小时前
线性代数(一些别的应该关注的点)
python·线性代数·机器学习
小鹿鹿啊1 小时前
C语言编程--14.电话号码的字母组合
c语言·开发语言·算法
小O的算法实验室1 小时前
2024年ESWA SCI1区TOP:量子计算蜣螂算法QHDBO,深度解析+性能实测
算法·论文复现·智能算法·智能算法改进
C语言魔术师1 小时前
509. 斐波那契数
算法·动态规划
Wendy_robot2 小时前
【前缀和计算和+哈希表查找次数】Leetcode 560. 和为 K 的子数组
c++·算法·leetcode
o独酌o2 小时前
算法习题-力扣446周赛题解
算法·leetcode