一、决策树是一类常见的机器学习方法，又称"判别树"，决策过程的最终结论对应了我们所希望的判定结果。在决策过程中提出的每个判定问题都是对某个属性的"测试"，每个测试的结果或是导出最终结论，或是导出进一步的判定问题，其考虑范围是在上次决策结果的限定范围之内。
一棵决策树包含三种情况：
-
一个根结点：包含样本全集
-
若干个内部结点：对应属性测试，每个结点包含的样本集合根据属性测试结果划分到子结点中
-
若干个叶结点：对应决策结果
二、决策树学习基本算法：
-
决策树的生成是一个递归过程，在这个决策树学习基本算法中，有三种情形会导致递归返回：
（1）当前结点包含样本属同一类别，无需划分；
（2）当前属性集为空，所有样本在所有属性上取值相同，无法划分；
（3）当前结点包含的样本集合为空，不能划分。
-
在第2种情形下，把当前结点标记为叶结点，并将其类别设定为该结点所含样本最多的类别；
-
在第3种情形下，同样把当前结点标记为叶结点，但将其类别设定为其父结点所含样本最多的类别。
三、决策树划分选择：
-
关键是如何选择最优划分属性。
-
旨在使决策树分支节点所包含样本尽可能属于同一类别，提高节点"纯度"。
四、划分属性：
-
信息增益
- 度量样本集合纯度的指标。
- 信息熵是样本集合纯度的度量，值越小，纯度越高。
- 利用属性对样本集进行划分可以得到信息增益，信息增益越大，纯度提升越大。
- 著名的ID3决策树算法就是以"信息增益"为准则来选择划分属性。
-
增益率
由于信息增益对可取值数目较多的属性有所偏好，C4.5决策树算法使用增益率选择最优划分属性。
-
基尼指数
-
反映了从数据集中随机抽取两个样本，其类别标记不一致的概率。
-
基尼指数越小，数据集纯度越高。
-
-
剪枝处理
-
处理"过拟合"的手段，包括预剪枝和后剪枝。
-
预剪枝是在划分前进行估计，若当前节点划分不能提升决策树泛化性能，则停止划分。
-
后剪枝是先生成完整决策树，然后自底向上考察非叶节点，若替换为叶节点能提升性能，则进行替换。
-
-
连续与缺失值处理
-
在决策树中使用连续属性，采用二分法处理。
二分法：
步骤：选择一个分割点，将连续属性的范围分为两个部分，每个部分对应一个分支。
分割点选择：通常选择使信息增益（或增益率、基尼指数）最大的点作为分割点。
实现：遍历所有可能的分割点，计算每个点的信息增益，选择最佳分割点。
-
对于属性值缺失的样本，有特定的处理方法：
忽略缺失值：当一个样本的某个属性值缺失时，可以简单地忽略这个样本，只使用完整的样本来构建决策树。
分配概率：对于缺失值，可以根据其他非缺失样本在该属性上的分布情况，为缺失样本分配一个概率分布。
替代值：可以使用该属性的非缺失值的统计量（如平均值、中位数）来填充缺失值。
-