决策树-测量纯度

如果一个纯度在全是猫,和非猫之间,我们如何定义这个纯度呢

我们看看熵的定义

他是衡量样本集不纯度的一个指标

我么你看这个图片

左边是熵函数,横轴代表的是一种占比,宗哲则是熵值

我们看左边的例子,如果有个样本你3猫3狗,则P1=0.5 在左边的图中对应的熵值是1说明这个样本相当的不纯

如果有个样本你5猫1狗,则P1=0.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升

如果有个样本你6猫0狗,则P1=1 在左边的图中对应的熵值是0说明这个样本是纯的,纯猫

我们看一下熵函数的定义

P0是非猫的比例 P0=1-P1

下面是熵函数H(P1)的定义,有一个叫做基尼准则的东西作用和这个差不多

后面我们看一下如何根据这些东西,在决策树的节点上根据什么特征来进行分割,

相关推荐
Easy_API7 小时前
2.8万亿参数,编程反超GPT-6 Astra:Kimi K3.1 Pro把开源模型推到了哪一步
大数据·人工智能·gpt·深度学习
GlobalInfo7 小时前
2026年机器人多指灵巧手市场分析报告——涵盖行业调查、趋势分析与发展前景
大数据·人工智能·microsoft·微服务·机器人
代码山河8 小时前
Python就业方向全解析:后端、爬虫、数据分析、AI你选哪个?
python·学习·架构·教程·面向对象·项目
紧跟先前的步伐8 小时前
Go AI Agent 实战 24|工具系统工程化收尾与阶段验收
人工智能·ai·golang·1024程序员节
在世修行8 小时前
智学文枢:题目流水线
python·多线程·状态机·pyside
释厄6238 小时前
AI学习层更新与跨体转移律——人类社会同构·不缺理解缺 U
人工智能·学习
梯度下降者9 小时前
零基础入门Python 爬虫
爬虫·python·数据分析·入门指南·webcrawler
老金带你玩AI9 小时前
集万家所长,一键复制的Agent.md!
人工智能
ZhuoAIStage9 小时前
舞台工艺多专业审图提速:用 AI 智能体编排 A+B+C+G 四段读图流水线
人工智能·自动化·工作流编排·舞台工艺·审图智能体
小奶包他干奶奶9 小时前
AI学习——1、机器学习概念
人工智能·机器学习