【机器学习】之 kmean算法原理及实现

基本概念

K-Means 聚类算法的目标是将数据集分成 ( K ) 个簇,使得每个簇内的数据点尽可能相似,而簇与簇之间尽可能不同。这种相似度是通过计算数据点与簇中心的距离来衡量的。

算法步骤

  1. 选择簇的数量 ( K ):随机选择 ( K ) 个数据点作为初始簇中心(质心)。
  2. 分配数据点:将每个数据点分配到距离最近的簇中心,形成 ( K ) 个簇。
  3. 更新簇中心:重新计算每个簇的质心,即该簇所有数据点的均值。
  4. 重复步骤 2 和 3:直到簇中心的位置不再发生显著变化或达到预设的最大迭代次数。

距离度量

K-Means 算法中通常使用欧氏距离来度量数据点 ( x ) 和簇中心 ( y ) 之间的距离,

实现代码

以下是使用 Python 和 NumPy 实现 K-Means 聚类算法的示例代码:

python 复制代码
import numpy as np

class KMeans:
    def __init__(self, k=3, max_iters=100):
        self.k = k
        self.max_iters = max_iters
        self.centroids = None

    def fit(self, X):
        # 随机初始化簇中心
        self.centroids = X[np.random.choice(X.shape[0], self.k, replace=False)]

        for _ in range(self.max_iters):
            # 分配每个样本到最近的簇中心
            labels = self._assign_clusters(X)
            # 计算新的簇中心
            new_centroids = self._calculate_centroids(X, labels)
            # 检查簇中心是否发生变化
            if np.all(new_centroids == self.centroids):
                break
            self.centroids = new_centroids
        return labels

    def _assign_clusters(self, X):
        # 计算每个数据点到簇中心的距离,并分配到最近的簇中心
        distances = np.sqrt(((self.centroids[:, np.newaxis, :] - X[np.newaxis, :, :]) ** 2).sum(axis=2))
        return np.argmin(distances, axis=0)

    def _calculate_centroids(self, X, labels):
        # 计算每个簇的新簇中心
        new_centroids = np.array([X[labels == i].mean(axis=0) for i in range(self.k)])
        return new_centroids

    def predict(self, X):
        # 预测数据点的簇标签
        return self._assign_clusters(X)

# 示例用法
if __name__ == "__main__":
    # 创建示例数据
    X = np.array([[1, 2], [1, 4], [1, 0], [10, 2], [10, 4], [10, 0]])

    # 创建KMeans实例
    kmeans = KMeans(k=2, max_iters=100)
    # 训练模型
    kmeans.fit(X)
    # 预测簇标签
    predictions = kmeans.predict(X)

    print("簇中心:\n", kmeans.centroids)
    print("预测簇标签:", predictions)

超参数选择

  • ( K ) 值的选择通常依赖于具体问题和数据集。可以使用肘部法则(Elbow Method)或轮廓系数(Silhouette Score)等方法来辅助决定最优的 ( K ) 值。

优缺点

优点

  • 简单直观:算法容易理解和实现。
  • 计算效率高:对于大规模数据集也相对有效。

缺点

  • 对初始簇中心敏感:可能只能找到局部最优解。
  • 需要指定 ( K ):簇的数量需要预先指定,这在某些情况下可能不是显而易见的。
  • 对非球形簇效果差:对具有复杂形状或大小不一致的簇的识别效果不佳。

总结

K-Means 是一种简单有效的聚类算法,适用于许多实际问题。然而,它也有一些局限性,因此在选择聚类算法时应考虑数据集的特性和具体需求。

相关推荐
TsingtaoAI30 分钟前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
上海潭龙东海科技有限公司1 小时前
智慧堆场动态模型三维实时孪生重构智能管控
大数据·网络·数据库·算法·重构
阿庆_AI研发工程师3 小时前
Stanford CS336 Lecture 10:大语言模型推理与性能优化
算法
用户7341681035484 小时前
基于MindSpore的深度残差收缩网络程序
算法
Pniubi4 小时前
力扣239.滑动窗口最大值(优先队列)
算法·leetcode·职场和发展
青少儿编程课堂6 小时前
第十八届蓝桥杯青少组图形化真题 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园泡泡堂大挑战解析
c++·python·算法·bfs·信息学竞赛
超低空6 小时前
一文说清LRU算法
后端·算法·架构
青少儿编程课堂7 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:Dinic最大流解析
c++·python·算法·bfs·信息学竞赛
开开心心就好7 小时前
显示器关不掉怎么办,用小工具一键息屏
算法·智能手机·pdf·计算机外设·ocr·lua·1024程序员节
专注仿真7 小时前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练