决策树(二)属性选择度量之基尼系数详细讲解

在上篇文章中,已经介绍了属性选择度量的信息增益,接下来本篇文章将介绍最后一个常用属性选择度量:基尼系数(Gini)。

熵的计算涉及对数运算比较耗时,基尼系数在简化计算的同时还保留了熵的优点。基尼系数代表了模型的不纯度,基尼系数越小,纯度越高,选择该特征进行劈划也越好。这和信息增益(比)正好相反。

假设,用X表示随机变量,随机变量的取值为x1, x2 ,x3... 在n分类问题中便有n个取值,基尼系数的计算公式如下:

其中pi为类别i出现的频率,即类别为i的样本占总样本个数的比率,Σ为求和符号,即对所有的pi^2进行求和。

当引入某个用于分类的变量A,假设属性A有m个不同的值,则变量A划分后的基尼系数的计算公式为:

gini(Xi)为按属性A分划后的各子集的基尼系数,|X|为总样本个数,| Xi|为划分后的各类的样本量。

☀公式很复杂,这是什么意思呢?接下来,咱们把看起来高级的问题"低级化",解释一下gini(X)这个公式。

(1)基尼系数的目的是衡量不平等程度。当我们求pi^2并求和时,这个操作实际上是在给占比大的部分赋予更大的权重。

**例如:**在两个人分东西的例子中,A 占 90%,B 占 10%。当我们计算

时,占比大的 A(0.9)的平方 0.81 远大于占比小的 B(0.1)的平方 0.01。gini(x)=1-0.82=0.18

这种权重分配方式使得基尼系数在衡量不平等时,更侧重于占比大的部分对整体不平等的贡献。在一个社会或群体的资源分配中,占比大的部分的集中程度对整体的不平等感知有更大的影响。

相关推荐
Allen Wurlitzer12 分钟前
算法刷题记录——LeetCode篇(8.7) [第761~770题](持续更新)
算法·leetcode·职场和发展
悄悄敲敲敲30 分钟前
C++第13届蓝桥杯省b组习题笔记
c++·笔记·算法·蓝桥杯
西瓜撞月球36 分钟前
二分类与多分类
人工智能·机器学习·分类
_殊途1 小时前
算法--滑动窗口
算法
kkk16222451 小时前
matlab有限元求转子临界转速
算法
罗西的思考1 小时前
探秘Transformer系列之(21)--- MoE
人工智能·深度学习·机器学习
啥都鼓捣的小yao1 小时前
Python使用SVC算法解决乳腺癌数据集分类问题——寻找最佳核函数
python·算法·分类
Blossom.1182 小时前
量子计算:未来计算技术的革命性突破
人工智能·科技·深度学习·神经网络·机器学习·计算机视觉·量子计算
Shockang3 小时前
机器学习的一百个概念(4)下采样
人工智能·机器学习
Shockang3 小时前
机器学习的一百个概念(3)上采样
人工智能·机器学习