DataWhale-吃瓜教程学习笔记 (五)

学习视频第4章-决策树_哔哩哔哩_bilibili
西瓜书对应章节: 第四章 4.1;4.2


文章目录

  • 决策树算法原理
        • [- 逻辑角度](#- 逻辑角度)
        • [- 几何角度](#- 几何角度)
  • [ID3 决策树](#ID3 决策树)
        • [- 自信息](#- 自信息)
        • [- 信息熵 (自信息的期望)](#- 信息熵 (自信息的期望))
        • [- 条件熵 ( Y 的信息熵关于概率分布 X 的期望)](#- 条件熵 ( Y 的信息熵关于概率分布 X 的期望))
        • [- 信息增益](#- 信息增益)
        • [- ID3 决策树](#- ID3 决策树)
        • [- 问题](#- 问题)
  • C4.5决策树
        • [- 增益率](#- 增益率)
          • [-- 属性固有值](#-- 属性固有值)
        • [- 缺点](#- 缺点)
  • [CART 决策树](#CART 决策树)
        • [- 基尼值](#- 基尼值)
        • [- 属性的基尼指数](#- 属性的基尼指数)
        • [- CART 决策树的实际构造算法](#- CART 决策树的实际构造算法)

决策树算法原理

- 逻辑角度

if...else.. 语句的组合,不断的选择

- 几何角度

根据某种准则划分特征空间

最终目的:提高分类样本的纯度


ID3 决策树

- 自信息
- 信息熵 (自信息的期望)

其中 X 作为随机变量,假设可能有 a, b, c 3种可能的状态:

  • p(a|b|c)=1 是最确定的,信息熵最小
  • p(a) = p(b) = p© 时可能性相同, X是最不确定的,信息熵最大

将样本类别标记视作随机变量,各个类别在样本集合中的占比视作各类别取值的概率,此时信息熵的 不确定性 可以转化为 集合内样本的纯度

- 条件熵 ( Y 的信息熵关于概率分布 X 的期望)

在已知 X 后 Y 的不确定性

- 信息增益

已知属性特征 a 的取值后, y 的不确定减少的量

- ID3 决策树

以 信息增益 为准则选择划分属性的 决策树

- 问题

信息增益 可能对取值数目多的属性有偏好 (比如 编号)


C4.5决策树

- 增益率
-- 属性固有值

a 可能取值的个数 V 越多,则 通常其固有值 IV(a)越大

- 缺点

增益率可能对 取值数目少的属性有偏好

  • C45算法 并未完全使用 "增益率"替代 "信息增益"。采用启发式算法:先选出信息增益高出平均水平 的属性,然后从中选择增益率最高的。

CART 决策树

- 基尼值

从样本集合D中随机抽取两个样本,其类别标记不一致的概率

- 属性的基尼指数
- CART 决策树的实际构造算法

相关推荐
hopetomorrow24 分钟前
学习路之压力测试--jmeter安装教程
学习·jmeter·压力测试
hopetomorrow25 分钟前
学习路之PHP--使用GROUP BY 发生错误 SELECT list is not in GROUP BY clause .......... 解决
开发语言·学习·php
/**书香门第*/1 小时前
Cocos creator 3.8 支持的动画 7
学习·游戏·游戏引擎·游戏程序·cocos2d
美式小田1 小时前
单片机学习笔记 9. 8×8LED点阵屏
笔记·单片机·嵌入式硬件·学习
猫爪笔记1 小时前
前端:HTML (学习笔记)【2】
前端·笔记·学习·html
_不会dp不改名_2 小时前
HCIA笔记3--TCP-UDP-交换机工作原理
笔记·tcp/ip·udp
-一杯为品-2 小时前
【51单片机】程序实验5&6.独立按键-矩阵按键
c语言·笔记·学习·51单片机·硬件工程
风尚云网3 小时前
风尚云网前端学习:一个简易前端新手友好的HTML5页面布局与样式设计
前端·css·学习·html·html5·风尚云网
熙曦Sakura4 小时前
完全竞争市场
笔记
EterNity_TiMe_4 小时前
【论文复现】(CLIP)文本也能和图像配对
python·学习·算法·性能优化·数据分析·clip