【机器学习】26. 聚类评估方法

聚类评估方法

  • [1. Unsupervised Measure](#1. Unsupervised Measure)
    • [1.1. Method 1: measure cohesion and separation](#1.1. Method 1: measure cohesion and separation)
      • [Silhouette coefficient](#Silhouette coefficient)
    • [Method 2:Correlation between two similarity matrices](#Method 2:Correlation between two similarity matrices)
    • [Method 3:Visual Inspection of similarity matrix](#Method 3:Visual Inspection of similarity matrix)
  • [2. Supervised measures](#2. Supervised measures)
  • [3. 决定cluster的数量](#3. 决定cluster的数量)
  • [4. 确定聚类趋势](#4. 确定聚类趋势)

1. Unsupervised Measure

  • 一个集群内的相似性高,集群之间的相似性低
  • 这些措施也被称为internal

1.1. Method 1: measure cohesion and separation

cohesion 和separation使用距离测量

cohesion :每个点与集群中心的距离(曼哈顿)

整体cohesion :直接相加

separation:每个类的中心的距离

整体separation:乘以数量权重再相加

也可以用平方距离 名字改成SSE BSE

Silhouette coefficient

对于某个点i:

a_I: 点i到簇内所有其他点的平均距离, 代表凝聚度

b_i: 首先找到点i到另一个簇中所有点的平均距离, 然后取这些平均距离的最小值

s的范围是[−1,1],越高越好

Method 2:Correlation between two similarity matrices

• 第一个相似度矩阵从距离得出

• 第二个相似度矩阵从聚类结果得出 0 不同,1相同

计算这两个相似度矩阵的相关性.

Method 3:Visual Inspection of similarity matrix

Plot the similarity matrix using coloring based on the similarity

主对角线的块状结构越清晰越好

2. Supervised measures

  • 将聚类结果与"ground truth"(专家提供的正确聚类标签)进行比较
  • 也叫External

3. 决定cluster的数量

elbow method

运行几个k的聚类算法,绘制SSE或其他无监督度量与簇的数量

寻找明显的膝盖或峰=大量的集群

4. 确定聚类趋势

Hopkins statistic

相关推荐
GIS工具-gistools20211 小时前
ArcGIS Excalibur 的新功能
人工智能·arcgis
THMAIL2 小时前
深度学习从入门到精通 - 迁移学习实战:用预训练模型解决小样本难题
人工智能·python·深度学习·算法·机器学习·迁移学习
音视频牛哥2 小时前
AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
人工智能·音视频·人工智能+·ai+ 行动意见·rtsp/rtmp 播放器·低空经济视频链路·工业巡检视频传输
roman_日积跬步-终至千里2 小时前
【软件架构设计(19)】软件架构评估二:软件架构分析方法分类、质量属性场景、软件评估方法发展历程
人工智能·分类·数据挖掘
.鱼子酱2 小时前
机器学习 - 使用 ID3 算法从原理到实际举例理解决策树
算法·决策树·机器学习
用户Taobaoapi20142 小时前
京东图片搜索相似商品API开发指南
大数据·数据挖掘·数据分析
镭眸2 小时前
因泰立科技:用激光雷达重塑智能工厂物流生态
大数据·人工智能·科技
阿豪Jeremy2 小时前
使用MS-SWIF框架对大模型进行SFT微调
人工智能
慧星云3 小时前
双节模型创作大赛开赛啦:和魔多一起欢庆中秋国庆
人工智能·云计算·aigc
爆改模型3 小时前
【ICCV2025】计算机视觉|即插即用|ESC:超越Transformer!即插即用ESC模块,显著提升图像超分辨率性能!
人工智能·计算机视觉·transformer