机器学习算法基础--聚类问题的评价指标

1.聚类问题指标评价的意义

    聚类算法是非监督学习最常用的一种方法，性能度量是衡量学习模型优劣的指标，
  也可作为优化学习模型的目标函数。聚类性能度量根据训练数据是否包含标记数据
  分为两类，一类是将聚类结果与标记数据进行比较，称为"外部指标"；另一类是直
  接分析聚类结果，称为内部指标。本文对这两类的性能度量以及相似度方法作一个
  详细总结。
  本文将总结的指标如下所示:
  外部指标:
  1.兰德系数(RI)
  2.调整兰德系数(ARI)
  3.同质性（homogeneity）度量
  4.完整性（completeness）度量
  5.V-Measure值(h和c的调和平均值)度量
  内部指标
  1.轮廓系数（Silhouette Coefficient）
  2.Caliniski-Harabaz指数

2.外部评价指标计算

2.1.兰德系数(RI)计算方法

首先我们定义两两配对变量a和b：

a：数据集的样本对既属于相同簇C也属于相同簇K的个数

b：数据集的样本对不属于相同簇C也不属于相同簇K的个数

比如对于如下的真实簇和预测簇向量:

真实簇向量：[ 0, 0, 0, 1, 1, 1 ]

预测簇向量：[ 0, 0, 1, 1, 1, 1 ]

根据a的定义，a表示在C,K两簇都是相同簇的样本对数，由上我们知道为a=2([0,0]和[1,1]满足题意)

根据b的定义，b表示在C和K中都是不同簇的样本的个数，由上我们知道b=1([0,1]->[1,1]符合条件)

RI是衡量两个簇类的相似度，假设样本个数是n，定义：
R I = a + b C n 2 RI=\frac{a+b}{C_{n}^{2} } RI=Cn2a+b

基于上述样本，n=6，cluters=3，所以RI的计算结果如下所示：
R I = a + b C 6 3 = 2 + 1 15 = 1 5 RI=\frac{a+b}{C_{6}^{3} } =\frac{2+1}{15} =\frac{1}{5} RI=C63a+b=152+1=51

2.2.调整兰德系数(ARI)计算方法

RI系数的缺点是随着聚类数的增加，随机分配簇类向量的RI也逐渐增加，这是不符合理论的，随机分配簇类标记向量的RI应为0。

对于随机结果，RI并不能保证分数接近零。为了实现"在聚类结果随机产生的情况下，指标应该接近零"，调整兰德系数( Adjusted randindex)被提出，它具有更高的区分度,其计算公式如下所示:
A R I = R I − E [ R I ] m a x ( R I ) − E [ R I ] ARI=\frac{RI-E[RI]}{max(RI)-E[RI]} ARI=max(RI)−E[RI]RI−E[RI]

相关Python代码如下所示：

from sklearn.metrics import adjusted_rand_score
true_labels = [ 0, 0, 0, 1, 1, 1 ]# 真实的标签
predicted_labels = [ 0, 0, 1, 1, 2, 2 ]# 聚类结果的标签
ari_score = adjusted_rand_score(true_labels, predicted_labels)
print("调整兰德系数:",ari_score )

2.3.同质性度量的计算方法

我们给出同质性度量的计算公式如下所示：
h = 1 − H ( C ∣ K ) H ( C ) h=1-\frac{H(C|K)}{H(C)} h=1−H(C)H(C∣K)
H ( C ∣ K ) 是给定簇划分条件下类别划分的条件熵 , H ( C ∣ K ) = − ∑ c = 1 ∣ C ∣ ∑ k = 1 ∣ K ∣ n c , k n log ⁡ ( n c , k n k ) , H ( C ) 是类别划分熵 , H ( C ) = − ∑ c = 1 ∣ C ∣ n c n log ⁡ ( n c n ) , n 表示实例总数。 H(C \mid K) 是给定簇划分条件下类别划分的条件熵, \\ H(C \mid K)= -\sum_{c=1}^{|C|} \sum_{k=1}^{|K|} \frac{n_{c, k}}{n} \log \left(\frac{n_{c, k}}{n_{k}}\right), H(C) 是类别划分熵, \\ H(C)=-\sum_{c=1}^{|C|} \frac{n_{c}}{n} \log \left(\frac{n_{c}}{n}\right), n 表示实例总 数。 H(C∣K)是给定簇划分条件下类别划分的条件熵,H(C∣K)=−c=1∑∣C∣k=1∑∣K∣nnc,klog(nknc,k),H(C)是类别划分熵,H(C)=−c=1∑∣C∣nnclog(nnc),n表示实例总数。

相关Python代码如下所示：

from sklearn.metrics import homogeneity_score
true_labels = [ 0, 0, 0, 1, 1, 1 ]# 真实的标签
predicted_labels = [ 0, 0, 1, 1, 2, 2 ]# 聚类结果的标签
homogeneity = homogeneity_score(true_labels, predicted_labels)
print("同质性:", homogeneity)

2.4.完整性度量的计算方法

完整性度量的各个参数的都类似于同质性度量，其是计算公式如下所示：
h = 1 − H ( K ∣ C ) H ( K ) h=1-\frac{H(K|C)}{H(K)} h=1−H(K)H(K∣C)

相关Python代码如下所示：

from sklearn.metrics import completeness_score
true_labels = [ 0, 0, 0, 1, 1, 1 ]# 真实的标签
predicted_labels = [ 0, 0, 1, 1, 2, 2 ]# 聚类结果的标签
completeness = completeness_score(true_labels, predicted_labels)
print("完整性:", completeness)

2.5.V-Measure值的计算方法

V-Measure的计算方法是h和c的调和平均数，其计算公式如下所示：
V = 2 h c h + c V=\frac{2hc}{h+c} V=h+c2hc

相关Python代码如下所示：

#%%
from sklearn.metrics import v_measure_score
true_labels = [ 0, 0, 0, 1, 1, 1 ]# 真实的标签
predicted_labels = [ 0, 0, 1, 1, 2, 2 ]# 聚类结果的标签
v_measure = v_measure_score(true_labels, predicted_labels)
print("V度量:", v_measure)

3.内部评价指标计算

3.1.轮廓系数的计算方法

轮廓系数(Silhouette coeffcient ) 适用于实际类别信息未知的情况。对于单个样本，设a 是与它同类别中其他样本的平均距离，b是与它距离最近不同类别中样本的平均距离，轮廓系数为:
s = b − a m a x ( a , b ) s=\frac{b-a}{max(a,b)} s=max(a,b)b−a

相关Python代码如下所示：

#%%
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
X=[[0,1,2,6],[1,0,2,6],[2,1,0,6],[6,6,6,0]]
y=[0,0,0,1]
kmeans = KMeans(n_clusters=3)	
# 根据数据data进行聚类，结果存放于result_list中
result_list = kmeans.fit_predict(X)
# 将原始的数据data和聚类结果result_list
score = silhouette_score(X, result_list)
print(score)

3.2.Calinski-Harabaz的计算方法

这种计算方法简单直接并且得到的数据越大越好，下面给出Calinski-Harabaz因子的计算方式:

也就是说，类别内部数据的协方差越小越好，类别之间的协方差越大越好，这样的Calinski-Harabasz分数会高。

相关Python代码如下所示：

#%%
#%%
import numpy as np
from sklearn import metrics
from sklearn.cluster import KMeans
X=[[0,1,2,6],[1,0,2,6],[2,1,0,6],[6,6,6,0]]
y=[0,0,0,1]
kmeans = KMeans(n_clusters=3)	
result_list = kmeans.fit_predict(X)
calinski_harabasz_score= metrics.calinski_harabasz_score(X, result_list)
print(calinski_harabasz_score)

4.致谢

本章内容的完成离不开以下大佬文章的启发和帮助，在这里列出名单，如果对于内容还有不懂的，可以移步对应的文章进行进一步的理解分析。
1.聚类评价指标的外部指标评价:https://blog.csdn.net/fengdu78/article/details/103951665
2.聚类评价指标的外部指标评价:https://zhuanlan.zhihu.com/p/145989213
3.聚类评价指标的内部指标评价:https://blog.csdn.net/sinat_26917383/article/details/70577710
在文章的最后再次表达由衷的感谢！！