一、什么是C4.5算法
1、概念
C4.5算法是一种决策树生成算法 ，它使用信息增益比（gain ratio） 来选择最优分裂属性，它是ID3算法的改进版本。
C4.5算法的核心思想 是选择信息增益比最大的特征作为节点进行划分，以获得最好的分类能力。它使用熵来度量数据集的不确定性，通过计算特征的信息增益来评估特征对分类的贡献程度。信息增益比越大，表示该特征对分类的影响越大。
公式及定义如下：
2、具体步骤如下：（全篇log底数为2）
1、 计算所有样本的类别熵（H）。
2、 对于每一个属性 ，计算该属性的熵【也为自身熵】（Hi）。
3、 对于每一个属性，计算该属性对于分类所能够带来的信息增益（Gi = H - Hi）。
4、 计算每个属性的信息增益比（gain ratio = Gi / Hi） ，即信息增益 与类别自身熵的比值。
选择具有最大信息增益比的属性作为分裂属性。
3、什么是自身熵
即不考虑标签解结果来只考虑自己本身类别的比例
例如：A集合：[1,1,1,2,2,3,3,3,3]
其自身熵为：-3/9log(3/9) - 2/9log(2/9) - 4/9log(4/9) = 1.5304930567574826（此处使用上节课所说的熵值计算公式）
所以集合A的自身熵为 1.5304930567574826
4、实例，依旧是上节课的文件
4.1 计算第一层节点
在上节课中，我们在第一步就求出了每个特征的信息增益，即：
• outlook 信息增益= 标签熵值 - 总熵值 = 0.2471
自身熵 = -5/14log(5/14) - 4/14log(4/14) - 5/14log(5/14) = 1.577
信息增益率= 0.2471 / 1.577 = 0.1566
• temperature 信息增益 = 0.94 - 0.91 = 0.03
自身熵 = -4/14log(4/14) - 6/14log(6/14) - 4/14log(4/14) = 1.557
信息增益率= 0.03 / 1.557 = 0.0186
• humidity信息增益 = 0.94 - 0.788 = 0.152
自身熵 =-7/14log(7/14) - 7/14log(7/14) = 1.0
信息增益率= 0.152 / 1.0 =0.152
• windy信息增益= 0.94 - 0.89 = 0.05
自身熵 =-8/14log(8/14) - 6/14log(6/14) = 0.985
信息增益率= 0.05 / 0.985 = 0.049
所以有信息增益率的排序：
天气 > 湿度 > 有风 > 温度
由此可知第一个节点为天气
此时得到以下决策树图形：
4.2 计算第二层节点
4.2.1 对hot，将hot单独取出
play 标签熵值 = -2/5log(2/5) - 3/5log(3/5) = 0.97
• temperature自身熵 = -2/5log(2/5) - 1/5log(1/5) - 2/5log(2/5) = 1.52
信息增益 = play标签熵值 - 总熵值 =0.97 -（2/5*hot熵 + 2/5 *milld熵 + 1/5 *cool熵）= 0.57
信息增益率 = 0.57 / 1.52 = 0.375
• humidity自身熵 = -3/5log(3/5) - 2/5log(2/5) = 0.97
信息增益 = 标签熵值 - 总熵值 = 0.97 - 0 = 0.97
信息增益率 = 1.0
• windy自身熵 = -3/5log(3/5) - 2/5log(2/5) = 0.97
信息增益 = 标签熵值 - 总熵值 = 0.97 - （3/5 * FALSE熵值 + 2/5 * TRUE熵值）= 0.0192
信息增益率 = 0.0192 / 0.97 = 0.02
由此可见，humidity天气信息增益率最大
4.2.2 对hot，将rainy单独取出
play 标签熵值 = -2/5log(2/5) - 3/5log(3/5) = 0.97
• temperature自身熵 = -3/5log(3/5) - 2/5log(2/5) = 0.97
信息增益 = 0.97 - （3/5 * mild熵 + 2/5 * cool熵）= 0.0192
信息增益率 = 0.0192 / 0.97 = 0.02
• humidity自身熵 = -3/5log(3/5) - 2/5log(2/5) = 0.97
信息增益 = 标签熵值 - 总熵值 = 0.97 -（3/5 * normal熵 + 2/5 * high熵）= 0.0192
信息增益率 = 0.0192 / 0.97 = 0.02
• windy自身熵 = -3/5log(3/5) - 2/5log(2/5) = 0.97
信息增益 = 标签熵值 - 总熵值 = 0.97 - 0 = 0.97
信息增益率 = 1
所以由此可见，windy有风信息增益率最大
4.2.3 所以可得当前决策树图：
二、什么是CART算法
1、概念
在分类问题中，CART算法通过构建一棵二叉决策树，将数据集划分为多个子集，使得每个子集内的样本属于同一类别。它通过对特征进行划分，选择最优的切分点来构建决策树。
在回归问题中，CART算法同样构建一棵二叉决策树，但是目标是预测一个连续的数值。它通过对特征进行划分，选择最优的切分点来构建决策树。
CART算法的优点包括简单易于实现、具有较好的解释性、对非线性关系的建模能力强等。它在实际应用中被广泛应用于分类和回归问题的解决。
2、衡量标准
基尼指数，GINI，其公式及定义如下:
3、实例，有如下贷款申请数据表
首先计算各特征值的基尼系数，选择最优特征以及其最优切分点 ，选择最优特征以及以A1,A2,A3,A4表示有年龄、有工作、有自己的房子和信贷情况4个特征，并以1,2,3表示年龄的值为青年、中年、和老年，以1,2表示有工作和有自己房子的值为是和否，以1,2,3表示信贷情况的值为非常好、好、一般。
1）此时计算特征值为A1=1（青年）的基尼指数：
• 首先计算青年的基尼系数（5个青年，2个贷款）
青年的基尼系数为：2/5 *（1-2/5）+ 3/5 *（1-3/5）= 0.48
**注意：**如果是二分类，这里的基尼系数可以直接为：2p*(1-p) = 2*2/5(1-2/5) = 0.48
非青年的基尼系数为：2 * (3/10) * (1-3/10) = 0.42
**注意：**这里的非青年为中年和老年
所以，此时的总基尼指数 为：5/15 * 0.48 + 10/15 * 0.42 = 0.44
2) 此时计算特征值为A1=2（中年）的基尼指数：
直接看总公式：
3) 此时计算特征值为A1=3（老年）的基尼指数：
因为老年和青年一样最小 ，所以都可以作为最优切分点
4）计算所有特征的基尼指数
分别计算A2（有工作）、A3（有自己房子）、A4（信贷情况）的基尼指数
同样通过上一步得到
A2=1（有工作）：基尼系数为 0
A2=0（没有工作）：基尼系数为 2 * 6/10 * (1 - 6/10) = 0.48
所以A2总基尼指数为：0.48 * 10/15 = 0.32
同理：A3（有自己房子）基尼指数为 0.27
A4总基尼指数为 ：
A4 =3（一般）基尼指数最小，为最优切分点
所以，在A1，A2，A3，A4几个特征中，Gini(D,A3=1)=0.27最小 ，所以选择特征A3为最优特征 ，A3=1为其最优切分点 ，于是根结点生成两个子结点，一个是叶结点，对另一个结点继续使用以上方法在A1，A2，A4中选择最优特征及其最优切分点，结果是A2=1，依此计算得知，所得结点都是叶结点.
对于本问题，按照 CART算法所生成的决策树与按照 ID3算法所生成的决策树完全一致.
有上述结果可以画决策树如下所示：
剩下的方法和上述基本一致，即切分出有房子的和没有房子的两组，分别对有房子和没房子对应的整个数据求基尼指数，最后即可得到下一步，切分结果如下所示：
