K-means 算法

K-means 算法

算法过程描述

  1. 随机选取k个点作为簇的中心
  2. 对于每一个样本的计算到中心的距离,并将样本分到最近的簇中
  3. 更新簇的中心位置
  4. 重复上述2-3步,直至簇的中心位置不在发生改变

其中目标函数为
J = ∑ i = 1 N ∑ k = 1 K r i , k ∣ ∣ x i − μ k ∣ ∣ 2 J=\sum_{i=1}^N\sum_{k=1}^Kr_{i,k}||x^i-\mu^k||^2 J=i=1∑Nk=1∑Kri,k∣∣xi−μk∣∣2

其中 r i , k ∈ { 0 , 1 } r_{i,k}\in\{0,1\} ri,k∈{0,1}表示样本 x i x_i xi是否属于簇 k k k

因为如果簇中心位置 μ k \mu^k μk确定,那么 r i , k r_{i,k} ri,k也同时将确定,为了优化目标函数,k-means采用迭代求解的方法,首先固定 μ k \mu^k μk,优化 r i , k r_{i,k} ri,k;然后固定 r i , k r_{i,k} ri,k优化 μ k \mu^k μk。

首先初始化簇中心,固定 μ k \mu^k μk,最小化 J ( r i , k ) J(r_{i,k}) J(ri,k):

分配每个样本点到其最近的中心点所在的簇
z i = a r g m i n k ′ dist ( x i , μ k ) { r i , k = 1 , k = z i r i , k = 0 , k ≠ z i z_i= \mathrm{arg\ min}{k^{\prime}}\text{dist}(x^i,\mu^k)\\ \begin{cases}r{i,k}=1,k=z_i\\r_{i,k}=0,k\neq z_i\end{cases} zi=arg mink′dist(xi,μk){ri,k=1,k=ziri,k=0,k=zi

然后固定簇中心 μ k \mu^k μk,最小化 J ( μ k ) J(\mu^k) J(μk):
μ k = ∑ i r i , k x i ∑ i r i , k {\mu}^k=\frac{\sum_ir_{i,k}{x}^i}{\sum_ir_{i,k}} μk=∑iri,k∑iri,kxi

相关推荐
forest_0913 小时前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
纪念 22914 小时前
C++ 算法基础 (差分)
开发语言·c++·算法
jyOverQ17 小时前
从零学 JVM(六):垃圾回收算法详解——标记清除、标记复制与标记整理
jvm·算法
严肃小白兔19 小时前
第 06/24 期:神经网络的反向传播算法:从链式法则到梯度计算
人工智能·神经网络·算法
落羽的落羽19 小时前
【C++】C++17的主要特性
linux·服务器·开发语言·c++·算法·机器学习
【心态好不摆烂】20 小时前
数据结构基础精讲3
数据结构·算法
武子康20 小时前
ComfyUI 加载了动作 LoRA,H3-World 的时间绑定就接好了吗?
人工智能·机器学习·claude
漂流瓶jz21 小时前
UVA-1613 K度图的着色 题解答案代码 算法竞赛入门经典第二版
算法·深度优先·图论·贪心·aoapc·算法竞赛入门经典·uva
Pniubi1 天前
动态规划入门 ( - 力扣509斐波那契数)
算法·动态规划