聚类个数怎么算?🤔
聚类分析是数据挖掘和机器学习中常用的无监督学习方法,但确定最佳聚类个数(k值)一直是个挑战。下面介绍几种常用的方法,并附上Python代码示例!👨💻
1.肘部法则(ElbowMethod)📊
肘部法则通过观察不同k值下的总平方误差(SSE)变化来确定最佳聚类数。当SSE下降趋于平缓时,对应的k值就是"肘部"。
```python
fromsklearn.clusterimportKMeans
importmatplotlib.pyplotasplt
假设X是我们的数据
sse=[]
forkinrange(1,11):
kmeans=KMeans(n_clusters=k,random_state=42)
kmeans.fit(X)
sse.append(kmeans.inertia_)
plt.plot(range(1,11),sse,'bx-')
plt.xlabel('k')
plt.ylabel('SSE')
plt.title('ElbowMethod')
plt.show()
```
2.轮廓系数法(SilhouetteScore)👥
轮廓系数衡量样本与自身簇的紧密程度和与其他簇的分离程度,值在-1到1之间,越大越好。
```python
fromsklearn.metricsimportsilhouette_score
silhouette_scores=[]
forkinrange(2,11):
kmeans=KMeans(n_clusters=k,random_state=42)
labels=kmeans.fit_predict(X)
score=silhouette_score(X,labels)
silhouette_scores.append(score)
plt.plot(range(2,11),silhouette_scores,'bx-')
plt.xlabel('k')
plt.ylabel('SilhouetteScore')
plt.title('SilhouetteMethod')
plt.show()
```
3.间隙统计量(GapStatistic)📈
比较实际数据的聚类误差与参考分布的误差,选择使间隙统计量最大的k值。
```python
fromgap_statisticimportOptimalK需要安装gap-stat包
optimalK=OptimalK()
n_clusters=optimalK(X,cluster_array=range(1,11))
print(f'最佳聚类数:{n_clusters}')
```
4.信息准则法(AIC/BIC)🔍
基于信息理论的方法,平衡模型复杂度和拟合优度。
```python
fromsklearn.mixtureimportGaussianMixture
n_components=range(1,11)
models=[GaussianMixture(n,random_state=42).fit(X)forninn_components]
bic=[m.bic(X)forminmodels]
plt.plot(n_components,bic,'bx-')
plt.xlabel('n_components')
plt.ylabel('BIC')
plt.title('BICforGMM')
plt.show()
```
总结🎯
每种方法各有优缺点,实际应用中建议结合多种方法综合判断!🤓肘部法则直观但有时不明显;轮廓系数计算量大但对任意形状簇有效;间隙统计量复杂但结果可靠;信息准则适合概率模型。
记住:没有绝对正确的方法,最终选择要结合业务理解和数据特性!💡