【机器学习】26. 聚类评估方法

聚类评估方法

  • [1. Unsupervised Measure](#1. Unsupervised Measure)
    • [1.1. Method 1: measure cohesion and separation](#1.1. Method 1: measure cohesion and separation)
      • [Silhouette coefficient](#Silhouette coefficient)
    • [Method 2:Correlation between two similarity matrices](#Method 2:Correlation between two similarity matrices)
    • [Method 3:Visual Inspection of similarity matrix](#Method 3:Visual Inspection of similarity matrix)
  • [2. Supervised measures](#2. Supervised measures)
  • [3. 决定cluster的数量](#3. 决定cluster的数量)
  • [4. 确定聚类趋势](#4. 确定聚类趋势)

1. Unsupervised Measure

  • 一个集群内的相似性高,集群之间的相似性低
  • 这些措施也被称为internal

1.1. Method 1: measure cohesion and separation

cohesion 和separation使用距离测量

cohesion :每个点与集群中心的距离(曼哈顿)

整体cohesion :直接相加

separation:每个类的中心的距离

整体separation:乘以数量权重再相加

也可以用平方距离 名字改成SSE BSE

Silhouette coefficient

对于某个点i:

a_I: 点i到簇内所有其他点的平均距离, 代表凝聚度

b_i: 首先找到点i到另一个簇中所有点的平均距离, 然后取这些平均距离的最小值

s的范围是[−1,1],越高越好

Method 2:Correlation between two similarity matrices

• 第一个相似度矩阵从距离得出

• 第二个相似度矩阵从聚类结果得出 0 不同,1相同

计算这两个相似度矩阵的相关性.

Method 3:Visual Inspection of similarity matrix

Plot the similarity matrix using coloring based on the similarity

主对角线的块状结构越清晰越好

2. Supervised measures

  • 将聚类结果与"ground truth"(专家提供的正确聚类标签)进行比较
  • 也叫External

3. 决定cluster的数量

elbow method

运行几个k的聚类算法,绘制SSE或其他无监督度量与簇的数量

寻找明显的膝盖或峰=大量的集群

4. 确定聚类趋势

Hopkins statistic

相关推荐
酌沧28 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师32 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵34 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043136 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元41 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元43 分钟前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
l0sgAi1 小时前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
DDliu1 小时前
花半个月死磕提示词后,我发现:真正值钱的不是模板,是这套可复用的结构化思维
人工智能
腾讯云开发者1 小时前
AI 浪潮下的锚与帆:工程师文化的变与不变 | 架构师夜生活
人工智能
JoernLee1 小时前
机器学习算法:支持向量机SVM
人工智能·算法·机器学习