【统计分析数学模型】聚类分析

【统计分析数学模型】聚类分析


一、聚类分析

1. 基本原理

聚类分析(Cluster Analysis) 是研究"物以类聚"的一种方法,有时称为群分析、点群分析、簇类分析等。

聚类分析是根据研究对象的特征对研究对象进行分类的多元分析技术的总称。聚类分析是应用最广泛的分类技术,它把性质相近的个体归为一类,使同一类的个体具有高度的同质性。

聚类分析大部分都属于探测性研究,最终结果是产生研究对象的分类,通过对数据的分类研究还能产生假设。聚类分析也可用于证实性目的,对于通过其他方法确定的数据分类,可以应用聚类分析进行检验。

  • 聚类分析和判别归类有着不同的分类目的,彼此之间既有区别又有联系。
  • 聚类分析分为Q型(分类对象为样品)和R型(分类对象为变量)两种。

2. 距离的度量

相似性度量包括:距离和相似系数.

样品之间的距离和相似系数有着各种不同的定义,而这些定义与变量的类型有着非常密切的关系.

(1)变量的测量尺度

变量的测量尺度:间隔、有序和名义尺度.

  1. 间隔变量: 变量用连续的量来表示,如长度、重量、速度、温度等.
  2. 有序变量: 变量度量时不用明确的数量表示,而是用等级来表示,如某产品分为一等品、二等品、三等品等有次序关系.
  3. 名义变量: 变量用一些类表示,这些类之间既无等级关系也无数量关系,如性别、职业、产品的型号等.

(2)距离

常用的距离包括:

  • 明考夫斯基(Minkowski)距离
  • 兰氏(Lance和Williams)距离
  • 马氏距离
  • 斜交空间距离

(3)R语言计算距离

r 复制代码
dist(x, method = "euclidean", diag = FALSE, upper = FALSE, p = 2) 

其中参数含义:

参数 含义
X 数据矩阵
method 距离计算方法包括"euclidean", "maximum", "manhattan", "canberra", "binary" or "minkowski"
diag 是否包含对角线元素
upper 是否需要矩阵上三角
p Minkowski距离的幂次

示例:

r 复制代码
X=c(1,2,6,8,11)
dist(X,diag=1,upper=1)

运行结果如下:

r 复制代码
   1  2  3  4  5
1  0  1  5  7 10
2  1  0  4  6  9
3  5  4  0  2  5
4  7  6  2  0  3
5 10  9  5  3  0

三、聚类方法

1. 系统聚类法

r 复制代码
hclust(d, method = "complete", ...)
plot(x, labels = NULL, hang = 0.1, ...)

参数的含义如下:

参数 含义
d 由dist函数产生的相似矩阵
method 聚类方法"single"(最短距离), "complete"(最长距离), "average" (类平均法), "median" (中间距离法), "centroid" (重心法), "ward.D" (ward法)
x hclust得出的聚类结果.
labels 树形图标签

2. K均值法

r 复制代码
kmeans(x, centers, iter.max = 10, nstart = 1, algorithm = c("Hartigan-Wong", "Lloyd", "Forgy", "MacQueen"), trace=FALSE)

参数的含义如下:

参数 含义
x 数据阵
centers 聚类数或初始聚类点
iter.max 最大迭代步数

三、示例

1. Q型聚类

(1)问题描述

数据资料来源:《应用多元统计分析》(第五版,王学民 编著)配书资料 例6.3.3

数据包括1999年全国31个省、直辖市和自治区的城镇居民家庭平均每人全年消费性支出的八个主要变量数据. 这八个变量是:

  • x1:食品
  • x2:衣着
  • x3:家庭设备用品及服务
  • x4:医疗保健
  • x5:交通和通讯
  • x6:娱乐教育文化服务
  • x7:居住
  • x8:杂项商品和服务

分别用最短距离法、重心法和Ward方法对各地区作聚类分析. 为同等地对待每一变量,在作聚类前,先对各变量作标准化变换.。

(2)R语言求解

A. Ward法系统聚类

代码如下:

r 复制代码
d6.3.3=read.csv('examp6.3.3.csv',header=1)
d6.3.3s=scale(d6.3.3[,-1]) #标准化数据
rownames(d6.3.3s)=d6.3.3[,1]
hc=hclust(dist(d6.3.3s),'ward.D')  #使用Ward法系统聚类
plot(hc,hang=-1) #做出树形图
rect.hclust(hc,k=3) #作聚类框
cutree(hc, k=3) #将聚成三类的结果分别以1, 2, 3表示
r 复制代码
> cutree(hc, k=3) #将聚成三类的结果分别以1, 2, 3表示
  北京   天津   河北   山西 内蒙古   辽宁   吉林 黑龙江   上海   江苏   浙江   安徽   福建 
     1      2      2      3      3      3      3      3      1      2      1      3      3 
  江西   山东   河南   湖北   湖南   广东   广西   海南   重庆   四川   贵州   云南   西藏 
     3      2      3      2      2      1      3      3      2      2      3      2      2 
  陕西   甘肃   青海   宁夏   新疆 
     3      3      3      3      2 
B. K均值法

运行代码:

r 复制代码
kcl=kmeans(d6.3.3s,3)
sort(kcl$cluster) #对聚类结果进行排序
fviz_nbclust(d6.3.3s,kmeans,method='wss')
r 复制代码
> sort(kcl$cluster) #对聚类结果进行排序
  天津   江苏   福建   山东   湖南   重庆   云南   西藏   北京   上海   浙江   广东   河北 
     1      1      1      1      1      1      1      1      2      2      2      2      3 
  山西 内蒙古   辽宁   吉林 黑龙江   安徽   江西   河南   湖北   广西   海南   四川   贵州 
     3      3      3      3      3      3      3      3      3      3      3      3      3 
  陕西   甘肃   青海   宁夏   新疆 
     3      3      3      3      3 

2. R型聚类

(1)问题描述

数据资料来源:《应用多元统计分析》(第五版,王学民 编著)配书资料 例6.3.7

对305名女中学生测量八个体型指标:

  • x1:身高
  • x2:手臂长
  • x3:上肢长
  • x4:下肢长
  • x5:体重
  • x6:颈围
  • x7:胸围
  • x8:胸宽

(2)R语言求解

代码如下:

A. 转换为距离矩阵
r 复制代码
d6.3.7 = read.csv('examp6.3.7.csv',header=1)
d = as.dist(1-d6.3.7[,-1], diag=T) #转换为距离矩阵
r 复制代码
> d
        身高 手臂长 上肢长 下肢长  体重  颈围  胸围  胸宽
身高   0.000                                             
手臂长 0.154  0.000                                      
上肢长 0.195  0.119  0.000                               
下肢长 0.141  0.174  0.199  0.000                        
体重   0.527  0.624  0.620  0.564 0.000                  
颈围   0.602  0.674  0.681  0.671 0.238 0.000            
胸围   0.699  0.723  0.763  0.673 0.270 0.417 0.000      
胸宽   0.618  0.585  0.655  0.635 0.371 0.423 0.461 0.000
B. 最长距离法
r 复制代码
hc = hclust(d, "complete") #最长距离法
plot(hc, hang=-1) #树形图
rect.hclust(hc, k=2) #将聚成的两类用边框界定
cutree(hc, k=2) #将聚成两类的结果分别以1, 2表示
r 复制代码
> cutree(hc, k=2) #将聚成两类的结果分别以1, 2表示
  身高 手臂长 上肢长 下肢长   体重   颈围   胸围   胸宽 
     1      1      1      1      2      2      2      2 
相关推荐
weixin_519535778 小时前
从ChatGPT到新质生产力:一份数据驱动的AI研究方向指南
人工智能·深度学习·机器学习·ai·chatgpt·数据分析·aigc
小老鼠不吃猫8 小时前
MathType延时使用
数学建模
青云交14 小时前
Java 大视界 -- Java 大数据在智能电网电力市场交易数据分析与策略制定中的关键作用
数据分析·数据采集·数据存储·交易策略·智能电网·java 大数据·电力市场交易
88号技师14 小时前
2025年8月SCI-汉尼拔·巴卡优化算法Hannibal Barca optimizer-附Matlab免费代码
开发语言·人工智能·算法·数学建模·matlab·优化算法
cx330上的猫15 小时前
价值1w的数据分析课知识点汇总-excel使用(第一篇)
数据挖掘·数据分析·excel
兮兮能吃能睡16 小时前
R语言术语(2)
开发语言·r语言
CodeJourney.16 小时前
SQL提数与数据分析指南
数据库·信息可视化·数据分析
聊聊MES那点事18 小时前
电脑零配件行业MES系统:快速实现全过程信息溯源
信息可视化·数据分析·数据可视化·mes
云青黛19 小时前
肘部法找k
人工智能·算法·机器学习·聚类
Gitpchy19 小时前
Day 18 推断聚类后簇的类型
python·机器学习·聚类