目录
[1、什么是ID3 算法](#1、什么是ID3 算法)
[三、实操 ID3算法](#三、实操 ID3算法)
[• 求outlook 总熵值及信息增益](#• 求outlook 总熵值及信息增益)
[• 求temperature 总熵值及信息增益](#• 求temperature 总熵值及信息增益)
[• 求humidity总熵值及信息增益](#• 求humidity总熵值及信息增益)
[• 求windy总熵值及信息增益](#• 求windy总熵值及信息增益)
3）此时需要对sunny对应的块进行当做一个表来计算其内数值的熵：
[• play标签的熵](#• play标签的熵)
[• 求temperature 总熵值及信息增益](#• 求temperature 总熵值及信息增益)
[• 求humidity总熵值及信息增益](#• 求humidity总熵值及信息增益)
[• 求windy总熵值及信息增益](#• 求windy总熵值及信息增益)
4）此时需要对rainy对应的块进行当做一个表来计算其内数值的熵：
[• play标签的熵](#• play标签的熵)
[• 求temperature 总熵值及信息增益](#• 求temperature 总熵值及信息增益)
[• 求humidity总熵值及信息增益](#• 求humidity总熵值及信息增益)
[• 求windy总熵值及信息增益](#• 求windy总熵值及信息增益)
一、什么是决策树？
1、概念
决策树是机器学习中一种常见的分类和回归算法。它基于树状结构的模型，通过对数据进行逐步划分，最终生成一棵决策树来进行预测或分类任务。
在决策树中，每个节点代表一个特征或属性，每个分支代表该特征的不同取值，而每个叶节点代表一个类别或者一个预测结果。
决策树的构建过程通过选择最优的特征和划分点来进行。这个选择过程通常基于一些衡量指标，比如信息增益、基尼指数等，来选择最能区分不同类别的特征进行划分。递归地对数据集进行划分，直到满足某个停止条件，例如达到最大深度、样本数量不足等。这样就生成了一棵完整的决策树模型。
2、优缺点
易于理解和解释，能够处理离散和连续型特征，对缺失值和异常值具有鲁棒性，同时可以处理多分类问题。
容易过拟合训练数据，对噪声敏感，不适合处理高维稀疏数据。针对这些问题，可以采用剪枝、集成学习等方法进行改进。
3、核心
所有数据从根节点一步一步落到叶子结点
例如下图，房产是根节点 ，下面的车辆、年收入是非叶子节点 ，那么其结果可以贷款和不可贷款就是叶子结点
4、需要考虑的问题
1）哪个节点作为根节点？哪些节点作为中间节点？哪些节点作为叶子结点？
2）节点如何分裂？
3）节点分裂标准的依据是什么？
二、决策树分类标准，ID3算法
1、什么是ID3 算法
衡量标准：熵值，熵值表示随机变量不确定性的度量，或者说是物体内部的混乱程度。
用于根据给定的训练数据集构建决策树模型，其基本思想是在每个节点上选择最佳的属性来进行划分，以使得划分后的子节点中的样本尽可能属于同一类别。
ID3算法通过计算每个属性的信息增益来度量属性选择的好坏。信息增益反映了在已知某个属性的取值的条件下，对类别的不确定性减少了多少。在每个节点上选择信息增益最大的属性作为划分依据，递归地构建决策树。
其缺点是仅适用于处理离散型属性，不适用于处理连续型属性。此外，ID3算法在处理缺失数据时也存在问题。
2、ID3算法怎么用
1）熵值计算公式
2）用法实例
集合A：[1,1,1,1,1,1,1,1,2,2]，共10项
集合B：[0,1,2,3,4,5,6,7,8,9]，同样10项
A的熵值为：1的概率乘上其log，2的概率乘上其log，然后再求和即可得到熵值
即：-8/10 * log（8/10）-（2/10）log（2/10）=0.722
同理：B的熵值为：（-1/10 log（1/10））*10=3.322
所以：B的熵值更大，其数据更混乱
三、实操 ID3算法
有如下数据图表，画出其决策树
1）求出play标签的熵值
result = -5/14log（5/14）- 9/14log（9/14）= 0.94
2）分别计算天气、温度、湿度、风、play的信息增益
信息增益 = 标签的熵 - 总熵值
总熵值 = 每列的不同种类熵值的比例求和
• 求outlook 总熵值及信息增益
sunny熵值= -3/5log(3/5) - 2/5log(2/5) =0.97
overcast熵值 = -4/4log(4/4) = 0
rainy熵值 = -3/5log(3/5) - 2/5log(2/5) =0.97
outlook 总熵值 = 5/14 * sunny熵值 + 4/14 * overcast熵值 + 5/14 * rainy熵值 = 0.6929
信息增益= 标签熵值 - 总熵值 = 0.2471
• 求temperature 总熵值及信息增益
hot熵值 = -2/4log（2/4）-2/4log（2/4）= 1.0
mild熵值 = -4/6log（4/6） -2/6log（2/6）= 0.92
cool熵值 = -1/4log（1/4） -3/4log（3/4）= 0.81
temperature总熵值 = 4/14 * 1.0 + 6/14 * 0.92 + 4/14 * 1.0 = 0.91
信息增益 = 0.94 - 0.91 = 0.03
• 求humidity总熵值及信息增益
high熵值 = -4/7log（4/7）- 3/7log（3/7）= 0.985
normal熵值 = -6/7log(6/7) - 1/7log(1/7) = 0.592
humidity总熵值 = 7/14*0.985 + 7/14*0.597 = 0.788
信息增益 = 0.94 - 0.788 = 0.152
• 求windy总熵值及信息增益
FALSE熵值= -6/8log(6/8) - 2/8log(2/8) = 0.81
TRUE熵值= -1/2log(1/2) - 1/2log(1/2）= 1.0
windy总熵值= 8/14 *0.81 + 6/14*1.0 = 0.89
信息增益= 0.94 - 0.89 = 0.05
由上述可得：
outlook信息增益为：0.2471
temperature信息增益为：0.03
humidity信息增益为： 0.152
windy信息增益为：0.05
所以可知，outlook的信息增益最大 ，信息增益越大表示在划分属性上获得更多的信息，即在已知某个属性的取值的条件下，类别的不确定性减少了更多。因此，信息增益越大，说明选择该属性作为划分依据能够更好地区分不同类别的样本，所以将其当做根节点。
当前可以绘画出决策树根节点部分：
3）此时需要对sunny对应的块进行当做一个表来计算其内数值的熵：
• play标签的熵
result = -3/5log（3/5） -2/5log（2/5）= 0.97
• 求temperature 总熵值及信息增益
hot熵值 = -2/2log（2/2）= 0
mild熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0
cool熵值 = -1 log 1 = 0
总熵值 = 1/5 * 1 = 0.2
信息增益 = 0.97 - 0.2 =0.77
• 求humidity总熵值及信息增益
high熵值 = -1 log 1 = 0
normal熵值 = -1 log 1 = 0
总熵值 = 0
信息增益= 0.97 - 0 = 0.97
• 求windy总熵值及信息增益
False熵值 = -1/3log（1/3）-2/3log（2/3）= 0.918
TRUE熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0
总熵值 = 3/5 * 0.918 + 2/5 * 1 = 0.9508
信息增益 = 0.97 - 0.9508 = 0.0192
由上述可得最大信息增益为湿度humidity，所以可得出上述决策树图sunny对应的非叶子节点为湿度
此时可发现湿度为high是，标签为no，湿度为normal时，标签为yes，如下图所示：
4）此时需要对rainy对应的块进行当做一个表来计算其内数值的熵：
• play标签的熵
result = -3/5log（3/5） -2/5log（2/5）= 0.97
• 求temperature 总熵值及信息增益
mild熵值 = -1/3log（1/3）-2/3log（2/3）= 0.918
cool熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0
总熵值 = 0.918 * 3/5 + 1 * 2/5 = 0.9508
信息增益 = 0.97 - 0.9508 = 0.0192
• 求humidity总熵值及信息增益
high熵值 = -1/2log（1/2） -1/2log（1/2）= 1.0
normal熵值 = -1/3log（1/3）-2/3log（2/3）= 0.918
总熵值 = 1 * 2/5 + 0.918 * 3/5 = 0.9508
信息增益= 0.97 - 0.9508 = 0.0192
• 求windy总熵值及信息增益
False熵值 = 0
TRUE熵值 = 0
总熵值 = 0
信息增益 = 0.97
所以可得出上述rainy对应非叶子结点的项为windy
然后再观察可得到风为FALSE时标签为yes，风为TRUE时，标签为no
所以得出完整决策树图片：
