决策树-测量纯度

如果一个纯度在全是猫,和非猫之间,我们如何定义这个纯度呢

我们看看熵的定义

他是衡量样本集不纯度的一个指标

我么你看这个图片

左边是熵函数,横轴代表的是一种占比,宗哲则是熵值

我们看左边的例子,如果有个样本你3猫3狗,则P1=0.5 在左边的图中对应的熵值是1说明这个样本相当的不纯

如果有个样本你5猫1狗,则P1=0.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升

如果有个样本你6猫0狗,则P1=1 在左边的图中对应的熵值是0说明这个样本是纯的,纯猫

我们看一下熵函数的定义

P0是非猫的比例 P0=1-P1

下面是熵函数H(P1)的定义,有一个叫做基尼准则的东西作用和这个差不多

后面我们看一下如何根据这些东西,在决策树的节点上根据什么特征来进行分割,

相关推荐
MartinYeung56 小时前
[论文分析]使大型语言模型智能体与理性和道德偏好对齐:一种监督微调方法
人工智能·机器学习·语言模型
2601_962065256 小时前
从零创建一个 Django 项目
后端·python·django
AI服务老曹6 小时前
车牌识别算法接入AI视频分析平台的流程和误报优化
人工智能·算法·音视频
GrowthRadar6 小时前
CNC柔性自动化工程验收标准:专业协作机器人集成商的四大核心技术能力
人工智能·机器人·自动化
a1117766 小时前
MuJoCo 机械臂仿真快速入门指南+文档
人工智能·开源
微三云生态系统架构师-彭丹6 小时前
排队免单风控系统设计:四层防套利机制与异常交易检测
人工智能
似水流年QC6 小时前
什么是 Skill?深入理解 AI Agent Skill 的工作原理与应用实践
人工智能·agent·skill
Zguigo6 小时前
【DL】LSTM|Cell State|三个门
人工智能·rnn·lstm
溪语流沙6 小时前
【Python项目实战】虚拟环境与依赖管理:venv / pip / requirements.txt实操
开发语言·python·pip
神威难绷泪6 小时前
Linux应用软件编程:线程分离属性 互斥机制 同步机制 死锁
linux·开发语言·算法·线程