【AI原理解析】—k-means原理

目录

步骤

注意事项

优点

缺点


步骤

  1. 初始化 :
    • 选择 k 个初始质心(通常通过随机选择数据集中的 k 个点作为初始质心)。
  2. 迭代过程 :
    • 分配数据点到最近的质心 :
      • 对于数据集中的每个数据点,计算它与 k 个质心之间的距离(例如,使用欧几里得距离)。
      • 将数据点分配给距离其最近的质心所对应的聚类。
    • 重新计算质心 :
      • 对于每个聚类,计算该聚类中所有数据点的均值(平均值),并将这个均值设为新的质心。
    • 检查收敛 :
      • 重复上述两个步骤,直到达到某个停止条件(例如,质心的变化小于某个阈值,或者达到预设的迭代次数)。
  3. 结果输出 :
    • 最终的聚类结果和每个聚类的质心。

效果评估方法

  • SSE(Sum of Squared Errors):计算每个样本与其所属簇中心点的距离的平方和。SSE值越小,表示聚类效果越好。
  • 轮廓系数(Silhouette Coefficient):综合考虑了样本之间的紧密度和分离度。轮廓系数越接近于1,表示聚类效果越好。

注意事项

  • k 的选择 :k 的值需要预先设定,而且不同的 k 值可能会导致不同的聚类结果。因此,k 的选择通常基于领域知识、数据的可视化或一些启发式方法(如肘部法则)。
    • 手肘法:通过绘制不同k值下的代价函数曲线,选择曲线趋于平稳前的拐点作为最佳k值。
    • Gap Statistic方法:通过计算真实样本和随机样本在不同k值下的损失函数差值(Gap值),选择使Gap值最大的k值作为最佳k值。
  • 初始质心的选择:随机选择初始质心可能会导致不同的聚类结果。为了解决这个问题,可以使用一些更复杂的初始化方法,如 K-means++。
  • 对异常值的敏感性:由于质心是基于所有数据点的均值计算的,因此异常值可能会对聚类结果产生较大影响。
  • 空聚类:在某些情况下,可能会出现某些聚类中没有数据点的情况。这通常是由于初始质心的选择不当或 k 值设置得过大导致的。
  • 迭代次数和收敛条件:需要设置适当的迭代次数和收敛条件来确保算法能够稳定地收敛。
  • 数据的预处理:在应用 k-means 算法之前,通常需要对数据进行一些预处理操作,如特征缩放、标准化或归一化,以确保不同的特征在聚类过程中具有相同的权重。

优点

  • 简单易懂,易于实现。
  • 在很多情况下都能得到较好的聚类结果。

缺点

  • 需要预先设定 k 的值。
  • 对初始质心的选择敏感。
  • 对异常值敏感。
  • 可能会陷入局部最优解。
相关推荐
chh5638 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval9 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi9 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿10 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方10 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI11 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP11 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷11 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考11 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI11 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具