【机器学习】26. 聚类评估方法

聚类评估方法

  • [1. Unsupervised Measure](#1. Unsupervised Measure)
    • [1.1. Method 1: measure cohesion and separation](#1.1. Method 1: measure cohesion and separation)
      • [Silhouette coefficient](#Silhouette coefficient)
    • [Method 2:Correlation between two similarity matrices](#Method 2:Correlation between two similarity matrices)
    • [Method 3:Visual Inspection of similarity matrix](#Method 3:Visual Inspection of similarity matrix)
  • [2. Supervised measures](#2. Supervised measures)
  • [3. 决定cluster的数量](#3. 决定cluster的数量)
  • [4. 确定聚类趋势](#4. 确定聚类趋势)

1. Unsupervised Measure

  • 一个集群内的相似性高,集群之间的相似性低
  • 这些措施也被称为internal

1.1. Method 1: measure cohesion and separation

cohesion 和separation使用距离测量

cohesion :每个点与集群中心的距离(曼哈顿)

整体cohesion :直接相加

separation:每个类的中心的距离

整体separation:乘以数量权重再相加

也可以用平方距离 名字改成SSE BSE

Silhouette coefficient

对于某个点i:

a_I: 点i到簇内所有其他点的平均距离, 代表凝聚度

b_i: 首先找到点i到另一个簇中所有点的平均距离, 然后取这些平均距离的最小值

s的范围是−1,1,越高越好

Method 2:Correlation between two similarity matrices

• 第一个相似度矩阵从距离得出

• 第二个相似度矩阵从聚类结果得出 0 不同,1相同

计算这两个相似度矩阵的相关性.

Method 3:Visual Inspection of similarity matrix

Plot the similarity matrix using coloring based on the similarity

主对角线的块状结构越清晰越好

2. Supervised measures

  • 将聚类结果与"ground truth"(专家提供的正确聚类标签)进行比较
  • 也叫External

3. 决定cluster的数量

elbow method

运行几个k的聚类算法,绘制SSE或其他无监督度量与簇的数量

寻找明显的膝盖或峰=大量的集群

4. 确定聚类趋势

Hopkins statistic

相关推荐
天天代码码天天11 小时前
输入一句话,生成一段声音:我做了个 Windows 本地音效工具
人工智能
tellmewhoisi11 小时前
深度学习0:数学知识:(雅可比矩阵)
人工智能·深度学习·矩阵
美团技术团队11 小时前
《Agent评测白皮书》业务实践篇:商家 AI 助手的评测与优化闭环实践
人工智能
京东云开发者11 小时前
京东11.11大促系列|Super Agent 进群:今年11.11,多了个会主动干活的"数字人队长"
人工智能
对你无可奈何12 小时前
把零散的模型用起来:Magpie 接入 Trae,再折腾两个池子
人工智能
七夜zippoe12 小时前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
AI导出鸭PC端12 小时前
纳米AI怎么复制表格?对话导出总是格式崩塌,我用“AI 导出鸭”重构了工作流
人工智能·重构·豆包·ai导出鸭
AI导出鸭PC端13 小时前
用 AI 导出鸭高效处理:豆包导 pdf 怎么压缩但清晰
android·人工智能·pdf·豆包·ai导出鸭
装不满的克莱因瓶13 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
数字融合13 小时前
透明化视频驱动化工生产动态三维重建管控技术
大数据·人工智能·python