机器学习--K-Means

K均值聚类

算法过程

  K − m e a n s K-means K−means 是 聚类 c l u s t e r i n g clustering clustering 算法的一种,就是给你一坨东西,让你给他们分类:

  我们的 K − m e a n s K-means K−means 大概是这样一个流程:

  1. 第一步随机生成两个点(因为这里我想分两类,你想分几类你就弄几个点),标记为两个聚类中心 c l u s t e r    c e n t r i o d cluster \; centriod clustercentriod,像这样:
  1. 然后重复以下两个步骤:

   1. 遍历每个点 x ( i ) x^{(i)} x(i),分别计算点 x ( i ) x^{(i)} x(i) 到两个聚类中心的距离 d 1 d_1 d1 和 d 2 d_2 d2,然后比较大小。并标记这个点为距离更小的那一类

   2. 分别遍历同一类的所有点,计算这些点的几何平均位置,并把聚类中心移动到这个位置

  这样说起来可能很抽象,我们还是用图像来更清晰的表示一下这个过程:

  图画到这里我们就能明显的观察到两个聚类已经被划分好了。

优化目标函数

  像前面介绍的线性回归、逻辑回归、 S V M SVM SVM 一样,这里的 K − m e a n s K-means K−means 也有一个用于优化的函数:

  n o t a t i o n notation notation: c i c_i ci 表示点 x i x_i xi 的类别, μ k \mu_k μk 表示聚类中心 k k k, μ c i \mu_{c_i} μci 表示 x i x_i xi 所属的那个聚类中心

J ( c 1 , ⋯   , c m , μ 1 , ⋯   , μ K ) = 1 m ∑ i = 1 m ∣ x i − μ c i ∣ 2 J(c_1, \cdots, c_m, \mu_1, \cdots, \mu_K) = \frac{1}{m}\sum_{i = 1}^m |x_i - \mu_{c_i}|^2 J(c1,⋯,cm,μ1,⋯,μK)=m1i=1∑m∣xi−μci∣2

  我们要做的就是:

min ⁡ c , μ J ( c 1 , ⋯   , c m , μ 1 , ⋯   , μ K ) \min\limits_{c, \mu} J(c_1, \cdots, c_m, \mu_1, \cdots, \mu_K) c,μminJ(c1,⋯,cm,μ1,⋯,μK)

  看得出来,这就是要最小化所有点 x i x_i xi 与其所属的聚类中心 μ x i \mu_{x_i} μxi 的距离的平方和。

跑 114514 114514 114514次 k − m e a n s k-means k−means

  可能你也注意到了,我们如果只跑一遍 k − m e a n s k-means k−means 的话可能不会得到一个很好的分类方案,所以我们考虑每次随机初始化聚类中心,然后跑很多遍(取决于你的数据规模和时间) k − m e a n s k-means k−means,对于每次计算出来的 c , μ c, \mu c,μ 算出它的 J ( c , μ ) J(c, \mu) J(c,μ),然后在其中选择 J ( c , μ ) J(c, \mu) J(c,μ) 最小的那个分类方案作为最后的答案。

相关推荐
字节跳动开源3 小时前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·开源·设计
Bacon3 小时前
我把 Codex 塞进了 Touch Bar:一个 30pt 高的额度与对话面板
人工智能
衡石科技3 小时前
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计
大数据·人工智能·安全·商业智能
网易云信4 小时前
折叠屏适配,iPhone Duo 真机已交付:网易云信 IMUIKit Swift 的实践
人工智能
Be for thing4 小时前
Pytorch【12】transforms进阶|图像数据增强实战,提升模型泛化能力
人工智能·pytorch·机器学习
十有八七5 小时前
手搓 Agent(一):先有大脑——大模型只会做一件事
前端·人工智能·后端
锋行天下5 小时前
「踩坑实录」给 LangGraph Agent 接两个 FastMCP,我被 langchain 偷偷改了工具名
前端·人工智能·后端
阿里云大数据AI技术5 小时前
穹彻智能 × MaxCompute:具身智能 UMI 数据产线的全模态计算实践
人工智能
联犀5 小时前
ai时代复杂项目的golang项目如何更好的与ai共舞:monorepo+gozero
开发语言·人工智能·golang
飞Link5 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人