机器学习(西瓜书)第 9 章 聚类

9.1 聚类任务和距离计算

在"无监督学习"中,训练样本的标记信息是未知的,目标是通过对无标记训练样本的学习来揭示数据的内在性质及规律,为进一步的数据分析提供基础.此类学习任务中研究最多、应用最广的是"聚类"(clustering).

聚类试图将数据集中的样本划分为若干个通常是不相交的子集,每个子集称为一个"簇"(cluster).通过这样的划分,每个簇可能对应于一些潜在的概念(类别),如 "浅色瓜" "深色瓜","有籽瓜" "无籽瓜",甚至"本地瓜" "外地瓜"等;需说明的是,这些概念对聚类算法而言事先是未知的,聚类过程仅能自动形成簇结构,簇所对应的概念语义需由使用者来把握和命名.

聚类既能作为一个单独过程,用于找寻数据内在的分布结构,也可作为分类等其他学习任务的前驱过程.例如,在一些商业应用中需对新用户的类型进行判别,但定义"用户类型"对商家来说却可能不太容易,此时往往可先对用户数据进行聚类,根据聚类结果将每个簇定义为一个类,然后再基于这些类训练分类模型,用于判别新用户的类型.

基于不同的学习策略,人们设计出多种类型的聚类算法.本章后半部分将对不同类型的代表性算法进行介绍,但在此之前,我们先讨论聚类算法涉及的两个基本问题一一性能度量和距离计算.

对于 连续的 或者 离散且有序的:

对于离散且无序的:

9.2 k-means原型聚类


kmeans算法不太适应的情况:比如一个环形的数据集,有两个簇,就是外面一个环都属于一个类别,里面这个环属于另一个类别,而计算距离的公式如果使用欧式距离,里面这个簇的中心也是外面这个簇的中心,也就是导致两个中心重合,无法区分两个类别样本

因此有了以下改进:

9.3 DBSCAN密度聚类


9.4 AGNES层次聚类

前面两种聚类都和 核心对象 有关,样本才能知道自己属于哪个类,那么其实它们就相当于是一种扁平的结构

如果想在聚类的过程中,去产生这种层次结构的话,就不可以用kmeans和dbscan,需要一种层次聚类的这种算法

层次聚类试图将数据划分成不同的层次,所以聚类的结果是有这种明显的一个树状结构的


相关推荐
IT古董10 分钟前
【漫话机器学习系列】261.工具变量(Instrumental Variables)
人工智能·机器学习
小王格子14 分钟前
AI 编程革命:腾讯云 CodeBuddy 如何重塑开发效率?
人工智能·云计算·腾讯云·codebuddy·craft
MonkeyKing_sunyuhua25 分钟前
VSCode + Cline AI辅助编程完全指南
ide·人工智能·vscode
Leinwin32 分钟前
Microsoft Azure 服务4月更新告示
人工智能·azure
胡耀超35 分钟前
霍夫圆变换全面解析(OpenCV)
人工智能·python·opencv·算法·计算机视觉·数据挖掘·数据安全
jndingxin43 分钟前
OpenCV CUDA 模块中用于在 GPU 上计算两个数组对应元素差值的绝对值函数absdiff(
人工智能·opencv·计算机视觉
jerry60943 分钟前
LLM笔记(五)概率论
人工智能·笔记·学习·概率论
硅谷秋水44 分钟前
学习以任务为中心的潜动作,随地采取行动
人工智能·深度学习·计算机视觉·语言模型·机器人
Tiny番茄1 小时前
Multimodal models —— CLIP,LLava,QWen
人工智能