1、什么是决策树？
一种描述概念空间的有效的归纳推理办法。基于决策树的学习方法可以进行不相关的多概念学习，具有简单快捷的优势，已经在各个领域取得广泛应用。
决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶结点代表一种类别。
2、决策树示意图
3、决策树的思想
决策树学习是以实例为基础的归纳学习。
决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。
决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多背景知识，只需要对训练例子进行较好的标注，就能够进行学习。
显然，属于有监督学习。
从一类无序、无规则的事物(概念)中推理出决策树表示的分类规则。
3.1、信息熵
3.2、联合熵和条件熵
3.3、信息增益
3.4、信息增益比
4、决策树学习的生成算法
4.1、ID3生成算法
4.2、决策树的例子
4.3 决策树的剪枝
