决策树-测量纯度

如果一个纯度在全是猫,和非猫之间,我们如何定义这个纯度呢

我们看看熵的定义

他是衡量样本集不纯度的一个指标

我么你看这个图片

左边是熵函数,横轴代表的是一种占比,宗哲则是熵值

我们看左边的例子,如果有个样本你3猫3狗,则P1=0.5 在左边的图中对应的熵值是1说明这个样本相当的不纯

如果有个样本你5猫1狗,则P1=0.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升

如果有个样本你6猫0狗,则P1=1 在左边的图中对应的熵值是0说明这个样本是纯的,纯猫

我们看一下熵函数的定义

P0是非猫的比例 P0=1-P1

下面是熵函数H(P1)的定义,有一个叫做基尼准则的东西作用和这个差不多

后面我们看一下如何根据这些东西,在决策树的节点上根据什么特征来进行分割,

相关推荐
浮链序10 分钟前
怎么证明"你这个模型是偷我的"——把蒸馏变成取证工具
算法·安全·llm
小O的算法实验室11 分钟前
IEEE TMC,面向异构物联网的多目标量子行为拓扑优化算法
算法
IT_陈寒23 分钟前
SpringBoot自动配置差点让我加班到凌晨
前端·人工智能·后端
用户83562907805135 分钟前
使用 Python 对 Excel 工作表进行排序
后端·python
yumgpkpm36 分钟前
Acceldata ODP(Open Data Platform)3.3.6.4(RHEL9)保姆级完整安装手册
大数据·人工智能·hive·hadoop·kafka·hbase·cloudera
程序员cxuan38 分钟前
腾讯又来一王炸,开源版 WorkBuddy 太夯了!
人工智能·后端·程序员
邓工说电1 小时前
智慧断路器安全吗?数据加密、离线保护与合规认证全解读
大数据·数据库·人工智能·智能断路器·炜晔科技
阿里云大数据AI技术1 小时前
Lance 数据检索怎么选,当然阿里云 Milvus 向量湖
人工智能
出海客1 小时前
跨境电商多语言客服知识库怎么建:资料结构、检索边界与人工升级
大数据·人工智能
liliangcsdn1 小时前
派息率指标的应用探索和分析
大数据·算法