如果一个纯度在全是猫,和非猫之间,我们如何定义这个纯度呢
我们看看熵的定义
他是衡量样本集不纯度的一个指标

我么你看这个图片
左边是熵函数,横轴代表的是一种占比,宗哲则是熵值
我们看左边的例子,如果有个样本你3猫3狗,则P1=0.5 在左边的图中对应的熵值是1说明这个样本相当的不纯
如果有个样本你5猫1狗,则P1=0.83 在左边的图中对应的熵值是0.65说明这个样本纯度有所提升
如果有个样本你6猫0狗,则P1=1 在左边的图中对应的熵值是0说明这个样本是纯的,纯猫
我们看一下熵函数的定义
P0是非猫的比例 P0=1-P1
下面是熵函数H(P1)的定义,有一个叫做基尼准则的东西作用和这个差不多

后面我们看一下如何根据这些东西,在决策树的节点上根据什么特征来进行分割,
