机器学习:决策树1--ID3决策树和C4.5决策树

公式

(信息)熵 = ∑ -分类占比 * log 2(分类占比)

信息增益

实际案例:信息增益

实际案例:信息增益率

为啥选择信息增益率,不用信息增益?信息增益弊端是啥

因为信息增益等于 熵 - 条件熵

在 实际案例:信息增益率 中可以看出来,一个特征如果分类多(特征b),他的条件熵很小,一个特征如果分类少(特征a),他的条件熵很大。 但是无论特征多,还是特征少,他们的熵是一致的。

所以 信息增益等于熵 - 条件熵 的情况,会一直选择 特征分类多的。

特征分类越多,模型越容易在训练集上表现完美,但在测试集上表现很差。信息增益的弊端就是它无法区分"真正有用的分类"和"仅仅是把数据切碎的无效分类"。

举个例子:我们在做一个"是否购买电脑"的预测,数据里有 10 个人,其中 5 个买、5 个不买(熵 = 1)

现在有两个特征:

  • 特征 A(年龄):分为"青年、中年、老年" 3 类。
  • 特征 B(身份证号):分为 10 类,因为每个人身份证号都不同。

如果用信息增益来选特征,会发生什么?

看特征 B(身份证号) :它把 10 个人分成了 10 个小组,每组只有 1 个人。对于每个小组,要么是"买",要么是"不买",纯度 100%。所以它的条件熵 = 0。那么它的信息增益 = 1 - 0 = 1(最大值)。

看特征 A(年龄):虽然把人群分成了 3 组,但每组里可能还是有买有没买的,纯度没那么高。假设它的条件熵 = 0.8。那么它的信息增益 = 1 - 0.8 = 0.2。

结论 :信息增益会毫不犹豫地选择"身份证号"这个特征。

但"身份证号"这个特征对于预测"是否买电脑"毫无意义,它只是把数据切碎了,产生了过拟合,不能泛化到新数据。

相关推荐
汤姆宝库7 小时前
RoPE旋转位置编码的实现与长上下文外推
python·深度学习·机器学习
回眸&啤酒鸭9 小时前
【回眸】Hy4 模型效果展示与能力评测大纲
大数据·人工智能·机器学习
AI小怪兽9 小时前
你的视觉基础模型会说“植物语“吗?面向目标检测的视觉基础模型植物语法
人工智能·深度学习·机器学习
峯5809 小时前
机器学习05,用 scikit-learn 做加州房价预测的完整入门工程
人工智能·机器学习·scikit-learn
伞伞悦读9 小时前
【第86期】分类指标与错误成本对照的实验与排查
大数据·人工智能·机器学习
AI源码10 小时前
基于机器学习的优衣库销售预测与决策系统
人工智能·机器学习
Be for thing1 天前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
武子康1 天前
AI通关了,游戏就算通过测试了吗?
人工智能·游戏·机器学习
linweidong1 天前
RTX 4090 Ubuntu + ComfyUI + comfy-kitchen 0.2.41 完整部署文档
机器学习·云原生·conda·pandas·scikit-learn
咕泡科技1 天前
关于机器学习,如何通俗理解全连接层(fully connected layer)?
人工智能·深度学习·机器学习