工程视角拆解:e-means 改了哪三件事,为什么 2 轮能顶 25 轮,附论文 Table 3/4 的原始数据。

用了近 70 年的 K-Means,被 Meta FAIR 改写了中心更新规则。平均只要两轮左右,就能超过传统 K-Means 跑 25 轮的聚类效果,GPU 最高提速 45.5 倍。
这篇不假设你懂算法。我们只讲清楚三件事:它原来在干什么、Meta 改了哪三件事、这三条改动为什么能值 45 倍。

K-Means 到底在干什么
它的活儿说白了就四个字:分堆。
你手机里有 100 万张照片,想分成 1000 类;或者你有一亿条文本向量,想按语义归成 100 万桶。K-Means 就是干这件事的老工具,从 1950 年代的 Lloyd 算法算起,用了快 70 年。
它的目标朴素得可爱:让每个点尽量靠近自己那一堆的中心。衡量这个目标好坏的指标叫均方误差(MSE),越小越好。
m a t h r m M S E = f r a c 1 n s u m _ i = 1 n l V e r t x _ i − c _ a ( i ) r V e r t 2 \\mathrm{MSE}=\\frac{1}{n}\\sum\_{i=1}^{n}\\lVert x\i-c\{a(i)}\\rVert^2 mathrmMSE=frac1nsum_i=1nlVertx_i−c_a(i)rVert2
这也是为什么它无处不在:向量检索的索引训练、图像去重、数据清洗、图像分割,甚至大语言模型压缩 KV cache,用的都是它。

它的工作方式:两个动作,反复循环
每一轮只做两件事:
- 分家:每个数据点,划给离它最近的那个中心;
- 搬家:每一堆算出自己的平均值,把这个平均值当成新中心。
这就是教科书里的 Lloyd 算法。它有个体面保证:误差每轮都会往下走,最终停在一个局部最优上。
但它的成本也写在了脸上:一轮等于把整个数据集从头到尾扫一遍。因为中心必须用这一堆所有人的平均值才算得准,所以每轮都得全量重算。
Faiss 这个工业界最常用的聚类库,默认把 Lloyd 跑 25 轮。少跑,误差没压下来;多跑,几乎不再有收益。
25 轮,在真实规模上是天文数字
在 100 亿条向量、约 1677 万个聚类中心上做精确分配,Lloyd 跑 25 轮要花 6784 个 GPU 小时,相当于一台 8 卡机器满负荷干 283 天。
那能不能边看边学,不要每次都全量重算?
这条路叫小批量 K-Means,1967 年就有了:每次只处理一小撮样本,立刻更新中心。它的毛病也很明显------记性太好。
早期中心还不准确时犯下的分配错误,会被永久地平均进最终结果里。结果就是收敛更快,但最终误差比好好训练的 Lloyd 更高;而且批次多大、学习率多少,还得自己另外调。
改动一:给中心装上遗忘
e-means 的核心,是把取平均换成了指数移动平均(EMA),一个在深度学习里被用滥了的朴素技巧。
它的意思是:新来的消息权重大,旧的按比例慢慢淡出。
每个中心不再只记一个平均值,而是记两个数:收到过多少样本 N、这些样本的向量和 S。每处理一小批,就做一次带衰减的更新:
KaTeX parse error: Expected 'EOF', got '&' at position 23: ...{aligned} N\_j &̲\\leftarrow \\g...
其中 γ 是遗忘系数。γ 等于 0.9 意味着新的一批只占 10% 的话语权;γ 趋近 1 就退化成全民公投,γ 趋近 0 就是每批都推倒重来。
直觉上,这像是把一锤定音的全民公投,换成了常开着的滚动民调:新证据立刻生效,旧证据逐渐退场,而不是永远压在头上。

遗忘顺手治了两件事
一、更容易跳出错误的分组。Lloyd 每轮都保证误差下降,于是很容易早早安心地停在一个其实很糟的分组方案上。小批量更新带来的随机波动,反而给了它反悔的机会。论文里的实验:200 次随机初始化中,卡在糟糕分组上的比例,Lloyd 是 26%,e-means 只有 3.5%;另一组数据是 46% 对 0%。
二、比梯度下降更稳。作者也拿随机梯度下降做过对照,大批量训练时步子一大就容易震荡不稳。而 EMA 更新天然让中心待在已经分配给它的样本所构成的凸包里,走得再快也不容易翻车。
改动二:给躺平的中心重新派活
聚类里有个老毛病:某些中心抢不到样本,成了死簇。你申请了 1000 个名额,实际上有 200 个在空转,聚类的容量被白白浪费。
e-means 每 5 个批次就查一次账:谁分的样本太少,就从某个大簇里劈一分为二,把新中心送过去,而不是随便抓个点补位。
效果是:关闭这个机制后,最终分不到 10 个样本的中心占到 26.3%;开启拆分策略后,这个数字降到 0.3%。
消融实验显示,把复活机制整个关掉,训练误差上涨 2.97%、测试误差上涨 2.24%。这是整套配方里贡献最大的一环,比余弦退火、初始化那些细节重要一个数量级。

改动三:调参这件事,被写成了公式
小批量训练要跑得快、要准,就得同时定两个互相拉扯的参数:
- 批次大小 B:太小,GPU 吃不饱;太大,中心更新的次数就少了;
- 步长 α:太小,学不动;太大,中心来回乱晃。
以前这些只能靠人肉网格搜索,换个数据集重来一遍。e-means 的做法是跑约 7.5 万次优化实验,把最优参数和问题规模 n、簇数 k、轮数 T 之间的关系拟合成两条幂律,论文称之为 Scaling Laws。
你只要给出 n、k、T,它就算出该用多大的 B、多大的初始步长,不需要任何超参搜索。在留出数据集上,按公式给的参数比逐个搜出来的最优参数,中位误差只差 0.19%。而这套规律是在 DEEP 数据集上拟合的,却能迁移到 SIFT、SPACEV、文本向量等数据集。
成绩单:几轮顶 25 轮
下表为论文 Table 4:e-means 需要多少轮,才能达到 Flash-KMeans(当时最强的 GPU 实现)跑 25 轮的误差,以及由此换算出的实际提速。
| 数据规模 | 簇数 | 需要的轮数 | GPU 提速 |
|---|---|---|---|
| 100 万 | 16,384 | 1.4 至 2.4 轮 | 9.5 倍至 12.9 倍 |
| 1000 万 | 65,536 | 1.4 至 2.0 轮 | 19.2 倍至 23.8 倍 |
| 1 亿 | 262,144 | 1.4 至 2.6 轮 | 19.9 倍至 35.9 倍 |
| 10 亿 | 1,048,576 | 1.4 至 2.0 轮 | 21.2 倍至 45.5 倍 |
CPU 上相对 Faiss 也有约 8 至 15 倍提速,而且全部实验没有为任何一组设置单独调过参。
百亿向量那一组更直观(论文 Table 3):
| 做法 | GPU 小时 | 轮数 |
|---|---|---|
| Lloyd,精确分配 | 6784 | 25 |
| e-means,精确分配 | 779 | 2.5 |
| e-means,IVF 近似分配 | 22.8 | 3 |
最后一行用单机 8 卡 H100,约 3 小时跑完。

所以它到底强在哪
有人会说,这不就是把 GPU 写得更聪明了吗。论文的答案是否定的:大头不在硬件,在怎么学。
- 改的是学习方式:同样的算力预算下,e-means 的每一轮都做了更多有效更新,轮次从 25 降到 2,误差反而更低。
- 用遗忘换及时:新样本能立刻纠正中心,早期的错误判断会自然淡出,而不是被永久平均进去。
- 用随机性换全局观:小批量的波动让算法有能力摆脱看起来已经稳定、其实很糟的分组。
- 让每个名额都干活:死簇复活把被浪费的聚类容量收了回来。
- 收尾还有几乎免费的一步:最后一轮结束后直接用当轮分配的均值重算中心,训练误差必然下降;面向新数据时,还能用更慢的移动平均换一个更低的测试误差。
边界与保留意见
热闹归热闹,这几条得一起知道:
- Scaling Laws 是在高维数据上拟合的,低维、超小数据集上并不是最优,作者也承认这是待改进之处。
- 拟合区间是 n 在 10 的 5 次方到 10 的 8 次方、k 在 256 到 65536,并且要求 n/k 不小于 8。
- 初始化用的是随机采样。用 k-means++ 初始化确实再好一点点,但它顺序执行、没法并行,反而把省下的时间还回去。
- 代码在 Faiss 仓库的 contrib/e_means,尚未包含在 Faiss 正式发行版中,要按论文公开配置自己试。
- 它没有解决一个新问题,而是给同一个问题找了个更好的求解器。所谓 45 倍,是相对当时最强的 GPU 实现和 CPU 实现说的。
另外,规模实验里 10 亿档只有 1 个随机种子,10 亿以上的速度数字更多是工程实现红利(专门写的 GPU 核、低精度距离计算),不是纯算法红利。
这件事跟谁有关
- 做向量检索的:索引训练时间直接砍掉一大截,同样预算能更频繁地重建索引。
- 做去重和内容审核的:同一套聚类流程,从数小时变成数十分钟。
- 做大模型推理的:KV cache 的压缩与稀疏化同样依赖聚类。
- 做数据治理的:按语义自动分桶,比手写规则靠谱。
- 写代码的:至少多了一个选择,以前调半天批次和步长的日子,可能可以省了。
怎么试:代码在 Faiss 的 contrib/e_means,论文和公开配置都在 arXiv:2611.09501。建议先在一份自己熟悉的数据上,把 e-means 跑 2 轮,和 Lloyd 跑 25 轮的误差与耗时并排比一次------论文里的数字很硬,但你的数据是唯一的标准答案。
一句话记住它
e-means 证明了一件事:七十年的老问题,瓶颈往往不在算力,而在怎么学。
它把 K-Means 从每次都要翻一遍全书的笨办法,改成了读一份摘要、随时更正的读书笔记------于是 25 轮变 2 轮,45 倍的加速只是这个转变顺带的结果。
论文:e-means: outperforming k-means (in one-tenth the epochs),Swann Bessa、Pierre-Emmanuel Mazaré、Gergely Szilvasy、Hugo Touvron、David Picard、Matthijs Douze、Hervé Jégou(Meta FAIR 等),arXiv:2611.09501,2026-11-06,CC BY 4.0。
代码:github.com/facebookresearch/faiss/tree/main/contrib/e_means
本文为对上述论文的中文解读,非逐字翻译;所有数据与结论均归属原作者。文中比喻与判断为解读所用,如有出入以论文原文为准。
原始链接:https://arxiv.org/abs/2611.09501
论文:arXiv:2611.09501 | 代码:github.com/facebookresearch/faiss/tree/main/contrib/e_means