Meta 重写 K-Means:25 轮压成 2 轮,GPU 快 45 倍

工程视角拆解:e-means 改了哪三件事,为什么 2 轮能顶 25 轮,附论文 Table 3/4 的原始数据。

用了近 70 年的 K-Means,被 Meta FAIR 改写了中心更新规则。平均只要两轮左右,就能超过传统 K-Means 跑 25 轮的聚类效果,GPU 最高提速 45.5 倍。

这篇不假设你懂算法。我们只讲清楚三件事:它原来在干什么、Meta 改了哪三件事、这三条改动为什么能值 45 倍。

K-Means 到底在干什么

它的活儿说白了就四个字:分堆。

你手机里有 100 万张照片,想分成 1000 类;或者你有一亿条文本向量,想按语义归成 100 万桶。K-Means 就是干这件事的老工具,从 1950 年代的 Lloyd 算法算起,用了快 70 年。

它的目标朴素得可爱:让每个点尽量靠近自己那一堆的中心。衡量这个目标好坏的指标叫均方误差(MSE),越小越好。

m a t h r m M S E = f r a c 1 n s u m _ i = 1 n l V e r t x _ i − c _ a ( i ) r V e r t 2 \\mathrm{MSE}=\\frac{1}{n}\\sum\_{i=1}^{n}\\lVert x\i-c\{a(i)}\\rVert^2 mathrmMSE=frac1nsum_i=1nlVertx_i−c_a(i)rVert2

这也是为什么它无处不在:向量检索的索引训练、图像去重、数据清洗、图像分割,甚至大语言模型压缩 KV cache,用的都是它。

它的工作方式:两个动作,反复循环

每一轮只做两件事:

  • 分家:每个数据点,划给离它最近的那个中心;
  • 搬家:每一堆算出自己的平均值,把这个平均值当成新中心。

这就是教科书里的 Lloyd 算法。它有个体面保证:误差每轮都会往下走,最终停在一个局部最优上。

但它的成本也写在了脸上:一轮等于把整个数据集从头到尾扫一遍。因为中心必须用这一堆所有人的平均值才算得准,所以每轮都得全量重算。

Faiss 这个工业界最常用的聚类库,默认把 Lloyd 跑 25 轮。少跑,误差没压下来;多跑,几乎不再有收益。

25 轮,在真实规模上是天文数字

在 100 亿条向量、约 1677 万个聚类中心上做精确分配,Lloyd 跑 25 轮要花 6784 个 GPU 小时,相当于一台 8 卡机器满负荷干 283 天。

那能不能边看边学,不要每次都全量重算?

这条路叫小批量 K-Means,1967 年就有了:每次只处理一小撮样本,立刻更新中心。它的毛病也很明显------记性太好。

早期中心还不准确时犯下的分配错误,会被永久地平均进最终结果里。结果就是收敛更快,但最终误差比好好训练的 Lloyd 更高;而且批次多大、学习率多少,还得自己另外调。

改动一:给中心装上遗忘

e-means 的核心,是把取平均换成了指数移动平均(EMA),一个在深度学习里被用滥了的朴素技巧。

它的意思是:新来的消息权重大,旧的按比例慢慢淡出。

每个中心不再只记一个平均值,而是记两个数:收到过多少样本 N、这些样本的向量和 S。每处理一小批,就做一次带衰减的更新:

KaTeX parse error: Expected 'EOF', got '&' at position 23: ...{aligned} N\_j &̲\\leftarrow \\g...

其中 γ 是遗忘系数。γ 等于 0.9 意味着新的一批只占 10% 的话语权;γ 趋近 1 就退化成全民公投,γ 趋近 0 就是每批都推倒重来。

直觉上,这像是把一锤定音的全民公投,换成了常开着的滚动民调:新证据立刻生效,旧证据逐渐退场,而不是永远压在头上。

遗忘顺手治了两件事

一、更容易跳出错误的分组。Lloyd 每轮都保证误差下降,于是很容易早早安心地停在一个其实很糟的分组方案上。小批量更新带来的随机波动,反而给了它反悔的机会。论文里的实验:200 次随机初始化中,卡在糟糕分组上的比例,Lloyd 是 26%,e-means 只有 3.5%;另一组数据是 46% 对 0%。

二、比梯度下降更稳。作者也拿随机梯度下降做过对照,大批量训练时步子一大就容易震荡不稳。而 EMA 更新天然让中心待在已经分配给它的样本所构成的凸包里,走得再快也不容易翻车。

改动二:给躺平的中心重新派活

聚类里有个老毛病:某些中心抢不到样本,成了死簇。你申请了 1000 个名额,实际上有 200 个在空转,聚类的容量被白白浪费。

e-means 每 5 个批次就查一次账:谁分的样本太少,就从某个大簇里劈一分为二,把新中心送过去,而不是随便抓个点补位。

效果是:关闭这个机制后,最终分不到 10 个样本的中心占到 26.3%;开启拆分策略后,这个数字降到 0.3%。

消融实验显示,把复活机制整个关掉,训练误差上涨 2.97%、测试误差上涨 2.24%。这是整套配方里贡献最大的一环,比余弦退火、初始化那些细节重要一个数量级。

改动三:调参这件事,被写成了公式

小批量训练要跑得快、要准,就得同时定两个互相拉扯的参数:

  • 批次大小 B:太小,GPU 吃不饱;太大,中心更新的次数就少了;
  • 步长 α:太小,学不动;太大,中心来回乱晃。

以前这些只能靠人肉网格搜索,换个数据集重来一遍。e-means 的做法是跑约 7.5 万次优化实验,把最优参数和问题规模 n、簇数 k、轮数 T 之间的关系拟合成两条幂律,论文称之为 Scaling Laws。

你只要给出 n、k、T,它就算出该用多大的 B、多大的初始步长,不需要任何超参搜索。在留出数据集上,按公式给的参数比逐个搜出来的最优参数,中位误差只差 0.19%。而这套规律是在 DEEP 数据集上拟合的,却能迁移到 SIFT、SPACEV、文本向量等数据集。

成绩单:几轮顶 25 轮

下表为论文 Table 4:e-means 需要多少轮,才能达到 Flash-KMeans(当时最强的 GPU 实现)跑 25 轮的误差,以及由此换算出的实际提速。

数据规模 簇数 需要的轮数 GPU 提速
100 万 16,384 1.4 至 2.4 轮 9.5 倍至 12.9 倍
1000 万 65,536 1.4 至 2.0 轮 19.2 倍至 23.8 倍
1 亿 262,144 1.4 至 2.6 轮 19.9 倍至 35.9 倍
10 亿 1,048,576 1.4 至 2.0 轮 21.2 倍至 45.5 倍

CPU 上相对 Faiss 也有约 8 至 15 倍提速,而且全部实验没有为任何一组设置单独调过参。

百亿向量那一组更直观(论文 Table 3):

做法 GPU 小时 轮数
Lloyd,精确分配 6784 25
e-means,精确分配 779 2.5
e-means,IVF 近似分配 22.8 3

最后一行用单机 8 卡 H100,约 3 小时跑完。

所以它到底强在哪

有人会说,这不就是把 GPU 写得更聪明了吗。论文的答案是否定的:大头不在硬件,在怎么学。

  • 改的是学习方式:同样的算力预算下,e-means 的每一轮都做了更多有效更新,轮次从 25 降到 2,误差反而更低。
  • 用遗忘换及时:新样本能立刻纠正中心,早期的错误判断会自然淡出,而不是被永久平均进去。
  • 用随机性换全局观:小批量的波动让算法有能力摆脱看起来已经稳定、其实很糟的分组。
  • 让每个名额都干活:死簇复活把被浪费的聚类容量收了回来。
  • 收尾还有几乎免费的一步:最后一轮结束后直接用当轮分配的均值重算中心,训练误差必然下降;面向新数据时,还能用更慢的移动平均换一个更低的测试误差。

边界与保留意见

热闹归热闹,这几条得一起知道:

  • Scaling Laws 是在高维数据上拟合的,低维、超小数据集上并不是最优,作者也承认这是待改进之处。
  • 拟合区间是 n 在 10 的 5 次方到 10 的 8 次方、k 在 256 到 65536,并且要求 n/k 不小于 8。
  • 初始化用的是随机采样。用 k-means++ 初始化确实再好一点点,但它顺序执行、没法并行,反而把省下的时间还回去。
  • 代码在 Faiss 仓库的 contrib/e_means,尚未包含在 Faiss 正式发行版中,要按论文公开配置自己试。
  • 它没有解决一个新问题,而是给同一个问题找了个更好的求解器。所谓 45 倍,是相对当时最强的 GPU 实现和 CPU 实现说的。

另外,规模实验里 10 亿档只有 1 个随机种子,10 亿以上的速度数字更多是工程实现红利(专门写的 GPU 核、低精度距离计算),不是纯算法红利。

这件事跟谁有关

  • 做向量检索的:索引训练时间直接砍掉一大截,同样预算能更频繁地重建索引。
  • 做去重和内容审核的:同一套聚类流程,从数小时变成数十分钟。
  • 做大模型推理的:KV cache 的压缩与稀疏化同样依赖聚类。
  • 做数据治理的:按语义自动分桶,比手写规则靠谱。
  • 写代码的:至少多了一个选择,以前调半天批次和步长的日子,可能可以省了。

怎么试:代码在 Faiss 的 contrib/e_means,论文和公开配置都在 arXiv:2611.09501。建议先在一份自己熟悉的数据上,把 e-means 跑 2 轮,和 Lloyd 跑 25 轮的误差与耗时并排比一次------论文里的数字很硬,但你的数据是唯一的标准答案。

一句话记住它

e-means 证明了一件事:七十年的老问题,瓶颈往往不在算力,而在怎么学。

它把 K-Means 从每次都要翻一遍全书的笨办法,改成了读一份摘要、随时更正的读书笔记------于是 25 轮变 2 轮,45 倍的加速只是这个转变顺带的结果。


论文:e-means: outperforming k-means (in one-tenth the epochs),Swann Bessa、Pierre-Emmanuel Mazaré、Gergely Szilvasy、Hugo Touvron、David Picard、Matthijs Douze、Hervé Jégou(Meta FAIR 等),arXiv:2611.09501,2026-11-06,CC BY 4.0。

代码:github.com/facebookresearch/faiss/tree/main/contrib/e_means

本文为对上述论文的中文解读,非逐字翻译;所有数据与结论均归属原作者。文中比喻与判断为解读所用,如有出入以论文原文为准。


原始链接:https://arxiv.org/abs/2611.09501

论文:arXiv:2611.09501 | 代码:github.com/facebookresearch/faiss/tree/main/contrib/e_means

相关推荐
lunar_coder27 分钟前
【算法】前缀和:把 O(n) 的重复劳动变成 O(1) 的一次查询
c++·算法
ONEYAC唯样29 分钟前
YXC扬兴科技小型化有源晶振OT4JI-111-24M,提升红外热成像稳定性
人工智能·python·pygame
小宋102132 分钟前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
Pniubi38 分钟前
力扣19 . 删除表的倒数第N个节点(栈)
算法·leetcode·职场和发展
碧海银沙音频科技研究院1 小时前
BP寻呼机原理
人工智能·嵌入式硬件
青少儿编程课堂1 小时前
第十八届蓝桥杯青少组图形化 + 全国青少年信息素养大赛 + 电子学会图形化考级:校园三消乐大挑战解析
c++·python·算法·bfs·信息学竞赛
万俟淋曦1 小时前
[ROS 系列学习教程] 建模与仿真 - 使用 ros_control 控制六轴串联机械臂
人工智能·ai·机器人·ros·机械臂·robotics·具身智能
IT_陈寒1 小时前
Vue开发者必知:5个让你效率翻倍的隐藏技巧
前端·人工智能·后端
青少儿编程课堂1 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:网格连通块与岛屿数量(DFS+BFS双解)
c++·python·算法·bfs·信息学竞赛