聚类的评估方法

内部评估指标

内部评估方法基于数据本身的特征,不依赖外部标签,适用于无监督学习场景。

轮廓系数(Silhouette Coefficient)

衡量样本与自身簇和其他簇的距离,取值范围为[-1, 1]。值越接近1表示聚类效果越好。公式为:

s(i) = \\frac{b(i) - a(i)}{\\max{a(i), b(i)}}

其中,a(i)是样本i到同簇其他样本的平均距离,b(i)是样本i到最近其他簇的平均距离。

戴维森-堡丁指数(Davies-Bouldin Index, DBI)

反映簇内距离与簇间距离的比值,值越小聚类效果越好。公式为:

DBI = \\frac{1}{k} \\sum_{i=1}\^k \\max_{j \\neq i} \\left( \\frac{\\sigma_i + \\sigma_j}{d(c_i, c_j)} \\right)

其中,\\sigma_i为簇i的平均距离,d(c_i, c_j)为簇中心距离。

Calinski-Harabasz指数(CH指数)

通过簇间离散度与簇内离散度的比值评估聚类,值越大效果越好。公式为:

CH = \\frac{\\text{tr}(B_k)}{\\text{tr}(W_k)} \\times \\frac{n - k}{k - 1}

B_k为簇间离散矩阵,W_k为簇内离散矩阵,n为样本数,k为簇数。


外部评估指标

外部评估方法依赖真实标签,适用于有监督验证的场景。

调整兰德指数(Adjusted Rand Index, ARI)

比较聚类结果与真实标签的相似度,取值范围为[-1, 1],值越接近1表示聚类与标签越一致。公式为:

ARI = \\frac{\\text{RI} - E\[\\text{RI}\]}{\\max(\\text{RI}) - E\[\\text{RI}\]}

RI为兰德指数,E\[\\text{RI}\]为期望值。

归一化互信息(Normalized Mutual Information, NMI)

衡量聚类结果与真实标签的信息共享程度,取值范围为[0, 1]。公式为:

NMI = \\frac{I(U; V)}{\\sqrt{H(U)H(V)}}

I(U; V)为互信息,H(U)H(V)为熵。

Fowlkes-Mallows指数(FMI)

基于成对样本的准确率和召回率几何平均,值越接近1效果越好。公式为:

FMI = \\sqrt{\\frac{TP}{TP + FP} \\times \\frac{TP}{TP + FN}}

TP、FP、FN分别为真正例、假正例、假反例。


其他实用方法

肘部法则(Elbow Method)

通过观察不同簇数下损失函数(如SSE)的变化曲线,选择拐点对应的k值。

间隙统计量(Gap Statistic)

比较实际数据与参考数据的聚类效果差异,选择使间隙值最大的k。公式为:

\\text{Gap}(k) = E\[\\log(W_k)\] - \\log(W_k)

W_k为簇内离散度,E\[\\cdot\]为参考数据期望。

稳定性评估

通过多次聚类结果的相似性(如Jaccard指数)评估算法稳定性,适用于数据扰动场景。

相关推荐
老刘说AI3 分钟前
Coze:从入门到精通
人工智能·低代码·语言模型·开放原子·知识图谱·持续部署
汀、人工智能3 分钟前
[特殊字符] 第97课:前K个高频元素
数据结构·算法·数据库架构··数据流·前k个高频元素
沉鱼.444 分钟前
第十四届题目
数据结构·算法
IT观测9 分钟前
选高低温环境试验箱,品牌、生产商、厂家哪个维度更可靠?
大数据·人工智能
isNotNullX11 分钟前
BI如何落地?BI平台如何搭建?
大数据·数据库·人工智能
新新学长搞科研12 分钟前
【多所权威高校支持】第五届新能源系统与电力工程国际学术会议(NESP 2026)
运维·网络·人工智能·自动化·能源·信号处理·新能源
枫叶林FYL13 分钟前
第八章 长上下文建模与位置编码优化 (Long Context Modeling) 8.1 位置编码外推技术
人工智能
砍材农夫13 分钟前
spring-ai 第八模型介绍-图像模型
java·人工智能·spring
霸道流氓气质16 分钟前
SpringBoot中使用SpringAIAlibaba框架集成阿里云百炼实现AI快速对话入门示例
人工智能·spring boot·阿里云
智购科技自动售货机18 分钟前
自动贩卖机厂家哪家价格公道
人工智能·python