DataWhale-吃瓜教程学习笔记 (五)

学习视频第4章-决策树_哔哩哔哩_bilibili
西瓜书对应章节: 第四章 4.1;4.2


文章目录

  • 决策树算法原理
        • [- 逻辑角度](#- 逻辑角度)
        • [- 几何角度](#- 几何角度)
  • [ID3 决策树](#ID3 决策树)
        • [- 自信息](#- 自信息)
        • [- 信息熵 (自信息的期望)](#- 信息熵 (自信息的期望))
        • [- 条件熵 ( Y 的信息熵关于概率分布 X 的期望)](#- 条件熵 ( Y 的信息熵关于概率分布 X 的期望))
        • [- 信息增益](#- 信息增益)
        • [- ID3 决策树](#- ID3 决策树)
        • [- 问题](#- 问题)
  • C4.5决策树
        • [- 增益率](#- 增益率)
          • [-- 属性固有值](#-- 属性固有值)
        • [- 缺点](#- 缺点)
  • [CART 决策树](#CART 决策树)
        • [- 基尼值](#- 基尼值)
        • [- 属性的基尼指数](#- 属性的基尼指数)
        • [- CART 决策树的实际构造算法](#- CART 决策树的实际构造算法)

决策树算法原理

- 逻辑角度

if...else.. 语句的组合,不断的选择

- 几何角度

根据某种准则划分特征空间

最终目的:提高分类样本的纯度


ID3 决策树

- 自信息
- 信息熵 (自信息的期望)

其中 X 作为随机变量,假设可能有 a, b, c 3种可能的状态:

  • p(a|b|c)=1 是最确定的,信息熵最小
  • p(a) = p(b) = p© 时可能性相同, X是最不确定的,信息熵最大

将样本类别标记视作随机变量,各个类别在样本集合中的占比视作各类别取值的概率,此时信息熵的 不确定性 可以转化为 集合内样本的纯度

- 条件熵 ( Y 的信息熵关于概率分布 X 的期望)

在已知 X 后 Y 的不确定性

- 信息增益

已知属性特征 a 的取值后, y 的不确定减少的量

- ID3 决策树

以 信息增益 为准则选择划分属性的 决策树

- 问题

信息增益 可能对取值数目多的属性有偏好 (比如 编号)


C4.5决策树

- 增益率
-- 属性固有值

a 可能取值的个数 V 越多,则 通常其固有值 IV(a)越大

- 缺点

增益率可能对 取值数目少的属性有偏好

  • C45算法 并未完全使用 "增益率"替代 "信息增益"。采用启发式算法:先选出信息增益高出平均水平 的属性,然后从中选择增益率最高的。

CART 决策树

- 基尼值

从样本集合D中随机抽取两个样本,其类别标记不一致的概率

- 属性的基尼指数
- CART 决策树的实际构造算法

相关推荐
DKPT3 小时前
Java桥接模式实现方式与测试方法
java·笔记·学习·设计模式·桥接模式
巴伦是只猫5 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
好好研究6 小时前
学习栈和队列的插入和删除操作
数据结构·学习
新中地GIS开发老师7 小时前
新发布:26考研院校和专业大纲
学习·考研·arcgis·大学生·遥感·gis开发·地理信息科学
SH11HF7 小时前
小菜狗的云计算之旅,学习了解rsync+sersync实现数据实时同步(详细操作步骤)
学习·云计算
Frank学习路上7 小时前
【IOS】XCode创建firstapp并运行(成为IOS开发者)
开发语言·学习·ios·cocoa·xcode
Chef_Chen9 小时前
从0开始学习计算机视觉--Day07--神经网络
神经网络·学习·计算机视觉
X_StarX11 小时前
【Unity笔记02】订阅事件-自动开门
笔记·学习·unity·游戏引擎·游戏开发·大学生
MingYue_SSS11 小时前
开关电源抄板学习
经验分享·笔记·嵌入式硬件·学习
巴伦是只猫11 小时前
【机器学习笔记 Ⅱ】1 神经网络
笔记·神经网络·机器学习