决策树-测量纯度

如果一个纯度在全是猫,和非猫之间,我们如何定义这个纯度呢

我们看看熵的定义

他是衡量样本集不纯度的一个指标

我么你看这个图片

左边是熵函数,横轴代表的是一种占比,宗哲则是熵值

我们看左边的例子,如果有个样本你3猫3狗,则P1=0.5 在左边的图中对应的熵值是1说明这个样本相当的不纯

如果有个样本你5猫1狗,则P1=0.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升

如果有个样本你6猫0狗,则P1=1 在左边的图中对应的熵值是0说明这个样本是纯的,纯猫

我们看一下熵函数的定义

P0是非猫的比例 P0=1-P1

下面是熵函数H(P1)的定义,有一个叫做基尼准则的东西作用和这个差不多

后面我们看一下如何根据这些东西,在决策树的节点上根据什么特征来进行分割,

相关推荐
(轻舟已过万重山)1 小时前
第40章 Spring AI 实战:企业级 AI 应用架构
人工智能·spring·架构
zzm6281 小时前
WSDM 2018论文精读:基于多关系学习与路径约束的商品替代互补关系挖掘
人工智能·学习
aneasystone本尊1 小时前
学习 Headroom 的 CCR 可逆压缩
人工智能
大模型任我行1 小时前
谷歌:扩散模型实现极速文本生成
人工智能·语言模型·自然语言处理·论文笔记
ctlover1 小时前
Python模块与包
开发语言·python
IT_陈寒1 小时前
Vite热更新失效?我的几个犯傻操作害我debug两小时
前端·人工智能·后端
月光船幽幽1 小时前
锁死后干预有效性的关键突破
人工智能·python·算法
2501_906565121 小时前
哥德巴赫猜想
算法
深念Y1 小时前
CPA-Auto池方案总结
人工智能·ai·自动化·路由·代理·账号·轮询
FellAveal1 小时前
【Transformer入门】从函数到Transformer
人工智能·深度学习·transformer