信息增益

开出南方的花

机器学习篇-day05-ID3决策树 C4.5决策树 CART决策树-回归决策树剪枝主要用于分类决策树是一种树形结构，树中每个内部节点表示一个特征上的判断，每个分支代表一个判断结果的输出，每个叶子节点代表一种分类结果, 根节点尤为重要.

决策树（人工智能期末复习）信息熵：随机事件未按照某个属性的不同取值划分时的熵减去按照某个属性的不同取值划分时的平均熵。即前后两次熵的差值。表示事物的混乱程度，熵越大表示混乱程度越大，越小表示混乱程度越小。对于随机事件，如果它的取值有N种情况，每种情况发生的概率为P，那么这件事的熵为：

数据挖掘题目：根据规则模板和信息表找出R中的所有强关联规则，基于信息增益、利用判定树进行归纳分类，计算信息熵的代码S∈R，P（S，x ）∧ Q（S，y ）==> Gpa（S，w ） [ s, c ] 其中，P，Q ∈{ Major, Status ，Age }.

信息熵与信息增益在决策树生成中的使用决策树是机器学习算法的一种，它主要对给定数据集合根据相关属性生成一个类似树结构的一种决策机制。