内部评估指标
内部评估方法基于数据本身的特征,不依赖外部标签,适用于无监督学习场景。
轮廓系数(Silhouette Coefficient)
衡量样本与自身簇和其他簇的距离,取值范围为[-1, 1]。值越接近1表示聚类效果越好。公式为:
s(i) = \\frac{b(i) - a(i)}{\\max{a(i), b(i)}}
其中,a(i)是样本i到同簇其他样本的平均距离,b(i)是样本i到最近其他簇的平均距离。
戴维森-堡丁指数(Davies-Bouldin Index, DBI)
反映簇内距离与簇间距离的比值,值越小聚类效果越好。公式为:
DBI = \\frac{1}{k} \\sum_{i=1}\^k \\max_{j \\neq i} \\left( \\frac{\\sigma_i + \\sigma_j}{d(c_i, c_j)} \\right)
其中,\\sigma_i为簇i的平均距离,d(c_i, c_j)为簇中心距离。
Calinski-Harabasz指数(CH指数)
通过簇间离散度与簇内离散度的比值评估聚类,值越大效果越好。公式为:
CH = \\frac{\\text{tr}(B_k)}{\\text{tr}(W_k)} \\times \\frac{n - k}{k - 1}
B_k为簇间离散矩阵,W_k为簇内离散矩阵,n为样本数,k为簇数。
外部评估指标
外部评估方法依赖真实标签,适用于有监督验证的场景。
调整兰德指数(Adjusted Rand Index, ARI)
比较聚类结果与真实标签的相似度,取值范围为[-1, 1],值越接近1表示聚类与标签越一致。公式为:
ARI = \\frac{\\text{RI} - E\[\\text{RI}\]}{\\max(\\text{RI}) - E\[\\text{RI}\]}
RI为兰德指数,E\[\\text{RI}\]为期望值。
归一化互信息(Normalized Mutual Information, NMI)
衡量聚类结果与真实标签的信息共享程度,取值范围为[0, 1]。公式为:
NMI = \\frac{I(U; V)}{\\sqrt{H(U)H(V)}}
I(U; V)为互信息,H(U)和H(V)为熵。
Fowlkes-Mallows指数(FMI)
基于成对样本的准确率和召回率几何平均,值越接近1效果越好。公式为:
FMI = \\sqrt{\\frac{TP}{TP + FP} \\times \\frac{TP}{TP + FN}}
TP、FP、FN分别为真正例、假正例、假反例。
其他实用方法
肘部法则(Elbow Method)
通过观察不同簇数下损失函数(如SSE)的变化曲线,选择拐点对应的k值。
间隙统计量(Gap Statistic)
比较实际数据与参考数据的聚类效果差异,选择使间隙值最大的k。公式为:
\\text{Gap}(k) = E\[\\log(W_k)\] - \\log(W_k)
W_k为簇内离散度,E\[\\cdot\]为参考数据期望。
稳定性评估
通过多次聚类结果的相似性(如Jaccard指数)评估算法稳定性,适用于数据扰动场景。