3.5 认识决策树
3.5.1 认识决策树
如何高效的进行决策？ 特征的先后顺序
3.5.2 决策树分类原理详解
已知有四个特征，预测 是否贷款给某个人。
先看房子，再看工作，是否贷款。
年龄，信贷情况，工作，是否贷款
1 原理
信息熵，信息增益等。
需要用到信息论的知识！问题：通过例子引入信息熵
信息论基础：
1）信息
香农：消除随机不定性的东西
小明 年龄 "我今年18岁" 是信息
小华 "小明明年19岁" （不是信息，因为我已经知道小明18岁）
2） 信息的衡量 ------信息量------ 信息熵
2 信息熵的定义
H的专业术语之为信息熵，单位为比特 bit
3 决策树的划分依据之一信息增益
4 决策树的划分依据------信息增益
当然决策树的原理不止信息增益这一种，还有其他方法，但是原理都类似，我们就不去举例计算。
3.5.3 决策树API
3.5.4 案例：泰坦尼克号乘客生存预测
流程分析：
特征值 目标值
1）获取数据
2）数据处理
缺失值处理
特征值------>字典类型
3）准备好特征值 目标值
4）划分数据集
5）特征工程：字典特征抽取
6）决策树预估器流程
7）模型评估
3.5.5 决策树可视化
1 保存树的结构到dot文件
3.5.6 决策树总结
优点：
简单的理解和解释，树木可视化
缺点：
决策树学习者可以创建不能很好推广数据的过于复杂的树，这被称为过拟合。
改进：
减枝cart算法（决策树API当中已经实现，随意森林参数调优有相关介绍）
随机森林
注意：企业重要决策，由于决策树很好的分析能力，在决策过程中应用较多，可以选择特征
3.5.7 总结
信息熵，信息增益的计算
DecisonTreeClassifier进行决策树的划分
export_graphviz导出到dot文件