聚类评估的二次壁垒之战：可扩展轮廓系数近似算法深度解读

这篇论文第一次为"轮廓系数"这个用了近 40 年、却始终被 Θ(n2)\Theta(n^2)Θ(n2) 复杂度锁死的经典聚类评估度量，给出了带有严格概率保证、且可突破二次壁垒的采样近似算法 ------不仅覆盖全局轮廓 s(C)s(\mathcal{C})s(C)，还覆盖此前几乎无人敢碰的"逐元素局部轮廓 s(e)s(e)s(e) 的同时估计"，并配套了常数轮、亚线性本地内存的分布式实现。

如果你只想带走一个技术判断：这篇工作的分量不在"又快了多少倍"，而在于它把一个长期只有启发式（无保证）方案的评估问题，第一次搬进了"(ε,δ)(\varepsilon,\delta)(ε,δ) 可控误差"的严格框架里，并顺手用一个精巧的反例证明了朴素均匀采样在这个问题上是"原理性地"失败的。

一、为什么这个问题值得较真

1.1 轮廓系数：一个"好用到被滥用"的度量

聚类算法有一个绕不开的尴尬：目标函数五花八门（kkk-means、kkk-medoids、密度、谱......），但"这个聚类到底好不好"却需要一个与算法无关的裁判。裁判分两类：

外部度量（external / supervised）：依赖真实标签（ground truth）。问题是真实标签几乎永远拿不到------如果有标签，你还聚什么类。
内部度量（internal / unsupervised）：只用数据本身和聚类划分来打分。

轮廓系数（Silhouette，Rousseeuw 1987）是内部度量里最常用的那一个。它流行的根本原因是信息门槛极低 ：只要有一个聚类划分，就能算，不需要任何额外先验。而且它有一个人人都能读懂的解释------分数落在 $-1,1$ $-1,1$ $-1,1$ ，越接近 1 说明这个点被分得越好。

它被写进了几乎每一本数据挖掘教科书（Han et al.、Tan et al.），被用来做最常见的"如何选 kkk"的任务，也被大量论文当作事实标准的评估器。

但它有个致命短板：算不动。

1.2 二次壁垒（The Quadratic Barrier）

先把定义摆清楚。设 UUU 是带距离函数 d(⋅,⋅)d(\cdot,\cdot)d(⋅,⋅) 的度量空间，V={e1,...,en}⊆UV=\{e_1,\dots,e_n\}\subseteq UV={e1,...,en}⊆U 是 nnn 个点，C={C1,...,Ck}\mathcal{C}=\{C_1,\dots,C_k\}C={C1,...,Ck} 是 VVV 的一个 kkk-划分。元素 e∈Ce\in Ce∈C 的轮廓系数定义为：

s(e)≜b(e)−a(e)max⁡{a(e), b(e)}(1) s(e) \triangleq \frac{b(e)-a(e)}{\max\{a(e),\,b(e)\}} \tag{1} s(e)≜max{a(e),b(e)}b(e)−a(e)(1)

其中：

a(e)=∑e′∈Cd(e,e′)∣C∣−1,b(e)=min⁡Cj∈CCj≠C∑e′∈Cjd(e,e′)∣Cj∣(2) a(e)=\frac{\sum_{e'\in C} d(e,e')}{|C|-1}, \qquad b(e)=\min_{\substack{C_j\in\mathcal{C}\\ C_j\neq C}} \frac{\sum_{e'\in C_j} d(e,e')}{|C_j|} \tag{2} a(e)=∣C∣−1∑e′∈Cd(e,e′),b(e)=Cj∈CCj=Cmin∣Cj∣∑e′∈Cjd(e,e′)(2)

用语言讲：

a(e)a(e)a(e) 是 eee 到自己簇内所有其他点的平均距离（内聚度，越小越好）；
b(e)b(e)b(e) 是 eee 到最近的邻簇所有点的平均距离（分离度，越大越好）；
若 eee 独占一个簇（C={e}C=\{e\}C={e}），约定 s(e)=0s(e)=0s(e)=0。

全局轮廓就是逐点求平均：

s(C)≜1n∑i=1ns(ei)(3) s(\mathcal{C}) \triangleq \frac{1}{n}\sum_{i=1}^{n} s(e_i) \tag{3} s(C)≜n1i=1∑ns(ei)(3)

这里就是全部麻烦的根源。 注意 a(e)a(e)a(e) 和 b(e)b(e)b(e) 都是"到一整个簇所有点的距离之和"。对每个点算它，你要遍历它所在簇 + 遍历所有邻簇候选。逐点算下来，在一般度量下必须做 Θ(n2)\Theta(n^2)Θ(n2) 次距离计算 ------而且这个下界与 kkk 无关。

nnn 上百万时，n2n^2n2 就是万亿级的距离计算。论文实验里，Metro（150 万点）、PowerHouse（210 万点）、Gowalla（640 万点）这几个数据集，精确算法在一小时时限内根本跑不完（Table 2 里 "exact" 列直接标 ✗）。

1.3 现状为什么令人不满

作者在 Related Work 里做了一件很关键的事：把"看似已有的解法"逐个拆穿。

方法	复杂度	核心问题
Simplified Silhouette（Hruschka et al.）	O(nk)O(nk)O(nk)	用点到"簇中心"的距离代替点到"全簇平均"的距离。快，但只对 center-based（如 kkk-means）经验有效，且误差不可控------实验里相对误差高达 80%~105%
Van der Laan 变体	---	只改了 b(e)b(e)b(e)，用最近中心距离代替
FS（Frahling & Sohler）	最坏仍 Θ(n2)\Theta(n^2)Θ(n2)	针对欧氏距离的启发式，实践中常快一点，但没有保证，且实验中几乎和精确算法一样慢
Apache Spark 内置	O(nkd)O(nkd)O(nkd)	只对平方欧氏 / 一种余弦距离成立，靠代数展开预计算，不适用一般度量

一句话概括这张表的信息量：在"一般度量 + 有保证 + 突破 Θ(n2)\Theta(n^2)Θ(n2)"这三个条件同时满足的格子里，此前是空的。 这篇论文要填的就是这个格子。

🎓 教授视角 ：这里有个很值得学习的写作策略------作者没有笼统地说"现有方法不够好"，而是把每个方法的适用假设 （center-based？欧氏？平方欧氏？）逐一点破。评估度量的近似算法之所以难，恰恰在于它必须在任意度量 下成立。一旦允许"只对欧氏距离"，简单的代数展开（把 ∑d2\sum d^2∑d2 拆成矩和）就能救场；一旦要求任意度量，你连三角不等式之外的结构都不能假设，采样几乎成了唯一出路。这是理解本文技术选择的关键前提。

二、核心武器：把一切归约到 WCj(e)W_{C_j}(e)WCj(e)

论文所有算法的数学地基，是一个看似平凡、实则精妙的重写。定义"点 eee 到簇 CjC_jCj 的距离和"：

WCj(e)=∑e′∈Cjd(e,e′)(4) W_{C_j}(e) = \sum_{e'\in C_j} d(e,e') \tag{4} WCj(e)=e′∈Cj∑d(e,e′)(4)

于是式 (2) 里那两个碍事的平均，被干净地改写成：

a(e)=WC(e)∣C∣−1,b(e)=min⁡Cj≠CWCj(e)∣Cj∣ a(e)=\frac{W_{C}(e)}{|C|-1}, \qquad b(e)=\min_{C_j\neq C}\frac{W_{C_j}(e)}{|C_j|} a(e)=∣C∣−1WC(e),b(e)=Cj=Cmin∣Cj∣WCj(e)

这一步为什么关键？ 因为它把"估计轮廓系数"这个复合的、带 max⁡\maxmax 和 min⁡\minmin 的非线性问题，归约成了一个纯粹的子问题：如何高精度地估计一堆求和量 WCj(e)W_{C_j}(e)WCj(e)。

一旦你能对每个 WCj(e)W_{C_j}(e)WCj(e) 拿到相对误差 ε\varepsilonε 的估计，剩下的就是证明"相对误差如何在 max⁡/min⁡/\max/\min/max/min/ 除法里传播成 s(e)s(e)s(e) 的绝对误差"------这纯粹是代数（下面 Lemma 2 会精确推导）。

整篇论文的技术难点因此聚焦到一点：用尽量少的距离计算，把所有 WCj(e)W_{C_j}(e)WCj(e) 估准。

三、局部轮廓估计：silh-pps-all 算法

3.1 问题定义与主定理

问题 1 ：给定度量空间中的数据集 VVV、kkk-划分 C\mathcal{C}C、参数 ε,δ∈(0,1)\varepsilon,\delta\in(0,1)ε,δ∈(0,1)，输出 s^(V)={(e,s^(e)):e∈V}\widehat{s}(V)=\{(e,\widehat{s}(e)):e\in V\}s (V)={(e,s (e)):e∈V}，使得以概率至少 1−δ1-\delta1−δ，对所有 e∈Ve\in Ve∈V 同时成立 ∣s^(e)−s(e)∣=O(ε)|\widehat{s}(e)-s(e)|=O(\varepsilon)∣s (e)−s(e)∣=O(ε)，并最小化距离计算次数。

注意"同时成立（simultaneously）"这个词------它不是对单个点给保证，而是对全部 nnn 个点一致给保证。这是一个 uniform（一致）误差界，难度显著高于逐点保证。

主结果：

定理 1 ：存在一个基于 pps 采样的随机算法，样本复杂度为 O ⁣(kε−2log⁡(nk/δ))O\!\left(k\varepsilon^{-2}\log(nk/\delta)\right)O(kε−2log(nk/δ))，以概率 1−δ1-\delta1−δ：

返回 s^(V)\widehat{s}(V)s (V)，使得对所有 e∈Ve\in Ve∈V， ∣s^(e)−s(e)∣≤4ε1−ε\;|\widehat{s}(e)-s(e)|\le \dfrac{4\varepsilon}{1-\varepsilon}∣s (e)−s(e)∣≤1−ε4ε；

执行 O ⁣(nkε−2log⁡(nk/δ))O\!\left(nk\varepsilon^{-2}\log(nk/\delta)\right)O(nkε−2log(nk/δ)) 次距离计算。

如何读这个复杂度？ 对固定的 ε,δ\varepsilon,\deltaε,δ 和实际中 k≪nk\ll nk≪n 的情形，距离计算是 O(nklog⁡n)O(nk\log n)O(nklogn) 量级------这就把 Θ(n2)\Theta(n^2)Θ(n2) 打成了近线性。ε−2\varepsilon^{-2}ε−2 这个因子在最坏情况下不可避免（是采样类算法的固有代价），但论文实验反复强调：即便 ε\varepsilonε 取到接近 1 这么大，估计仍然高度精确 ------因为 4ε/(1−ε)4\varepsilon/(1-\varepsilon)4ε/(1−ε) 是个宽松的最坏界，实际误差远小于此。

3.2 为什么不能用均匀采样？------ 一个必要性反例

在给算法之前，作者先证明了一件"劝退"的事：别想走捷径用均匀采样。

定理 2 ：存在一个大数据集 VVV 和一个 2-划分 C\mathcal{C}C，使得把定理 1 的算法中 pps 采样替换成均匀采样后，以任意大的概率，对至少 n/2−1n/2-1n/2−1 个元素 e′e'e′ 有 ∣s^(e′)−s(e′)∣≥1|\widehat{s}(e')-s(e')|\ge 1∣s (e′)−s(e′)∣≥1。

翻译：在相同的样本预算下，均匀采样会让一半的点 产生至少 1 （满量程一半）的估计误差。这不是"稍差一点"，是灾难性失败。

这个反例本身就是一件精巧的构造，值得单独拆解（见 §3.5）。它的意义是：pps 采样在本问题中不是"更好的选择"，而是"不可替代的选择"。

3.3 算法结构

silh-pps-all（Algorithm 1）分两阶段：
#mermaid-svg-kRguKhxatVYt5zmA{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-kRguKhxatVYt5zmA .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-kRguKhxatVYt5zmA .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-kRguKhxatVYt5zmA .error-icon{fill:#552222;}#mermaid-svg-kRguKhxatVYt5zmA .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-kRguKhxatVYt5zmA .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-kRguKhxatVYt5zmA .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-kRguKhxatVYt5zmA .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-kRguKhxatVYt5zmA .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-kRguKhxatVYt5zmA .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-kRguKhxatVYt5zmA .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-kRguKhxatVYt5zmA .marker{fill:#333333;stroke:#333333;}#mermaid-svg-kRguKhxatVYt5zmA .marker.cross{stroke:#333333;}#mermaid-svg-kRguKhxatVYt5zmA svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-kRguKhxatVYt5zmA p{margin:0;}#mermaid-svg-kRguKhxatVYt5zmA .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-kRguKhxatVYt5zmA .cluster-label text{fill:#333;}#mermaid-svg-kRguKhxatVYt5zmA .cluster-label span{color:#333;}#mermaid-svg-kRguKhxatVYt5zmA .cluster-label span p{background-color:transparent;}#mermaid-svg-kRguKhxatVYt5zmA .label text,#mermaid-svg-kRguKhxatVYt5zmA span{fill:#333;color:#333;}#mermaid-svg-kRguKhxatVYt5zmA .node rect,#mermaid-svg-kRguKhxatVYt5zmA .node circle,#mermaid-svg-kRguKhxatVYt5zmA .node ellipse,#mermaid-svg-kRguKhxatVYt5zmA .node polygon,#mermaid-svg-kRguKhxatVYt5zmA .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-kRguKhxatVYt5zmA .rough-node .label text,#mermaid-svg-kRguKhxatVYt5zmA .node .label text,#mermaid-svg-kRguKhxatVYt5zmA .image-shape .label,#mermaid-svg-kRguKhxatVYt5zmA .icon-shape .label{text-anchor:middle;}#mermaid-svg-kRguKhxatVYt5zmA .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-kRguKhxatVYt5zmA .rough-node .label,#mermaid-svg-kRguKhxatVYt5zmA .node .label,#mermaid-svg-kRguKhxatVYt5zmA .image-shape .label,#mermaid-svg-kRguKhxatVYt5zmA .icon-shape .label{text-align:center;}#mermaid-svg-kRguKhxatVYt5zmA .node.clickable{cursor:pointer;}#mermaid-svg-kRguKhxatVYt5zmA .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-kRguKhxatVYt5zmA .arrowheadPath{fill:#333333;}#mermaid-svg-kRguKhxatVYt5zmA .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-kRguKhxatVYt5zmA .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-kRguKhxatVYt5zmA .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kRguKhxatVYt5zmA .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-kRguKhxatVYt5zmA .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kRguKhxatVYt5zmA .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-kRguKhxatVYt5zmA .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-kRguKhxatVYt5zmA .cluster text{fill:#333;}#mermaid-svg-kRguKhxatVYt5zmA .cluster span{color:#333;}#mermaid-svg-kRguKhxatVYt5zmA div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-kRguKhxatVYt5zmA .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-kRguKhxatVYt5zmA rect.text{fill:none;stroke-width:0;}#mermaid-svg-kRguKhxatVYt5zmA .icon-shape,#mermaid-svg-kRguKhxatVYt5zmA .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-kRguKhxatVYt5zmA .icon-shape p,#mermaid-svg-kRguKhxatVYt5zmA .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-kRguKhxatVYt5zmA .icon-shape .label rect,#mermaid-svg-kRguKhxatVYt5zmA .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-kRguKhxatVYt5zmA .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-kRguKhxatVYt5zmA .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-kRguKhxatVYt5zmA :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Phase 2: 轮廓估计 (逐元素)
对每个 e、每个簇 Cj:

Ŵ_Cj(e) = Σ_{e'∈F_Cj} d(e,e')/p_{e'}
â(e) = Ŵ_C(e)/(|C|-1)
b̂(e) = min_{Cj≠C} Ŵ_Cj(e)/|Cj|
ŝ(e) = (b̂(e)-â(e)) / max{â(e),b̂(e)}
Phase 1: PPS 采样 (逐簇独立处理)
是
否
|Cj| ≤ t ?
F_Cj ← 整个 Cj (无需采样)
初始 Poisson 采样 F⁰_Cj

概率 = (2/|Cj|)·ln(5k/δ)
对 ē ∈ F⁰_Cj 精确算 W_Cj(ē)
对每个 e ∈ Cj 算 γe

γe = max{ 1/|Cj| , max_ē d(e,ē)/W_Cj(ē) }
设 pe = min{1, t·γe}
按 {pe} 做 Poisson 采样得 F_Cj
输入: 聚类 C, 参数 ε, δ, 采样规模 t
输出 ŝ(V)

Phase 1（pps 采样）的核心直觉 ：这不是均匀采样，而是偏向选那些"对求和贡献大"的点 。具体地，γe\gamma_eγe 取两项的最大值：

γe=max⁡{ 1∣Cj∣⏟T1, max⁡eˉ∈FCj0d(e,eˉ)WCj(eˉ)⏟T2 } \gamma_e=\max\Bigg\{\;\underbrace{\frac{1}{|C_j|}}{T_1},\;\;\underbrace{\max{\bar e\in F^0_{C_j}}\frac{d(e,\bar e)}{W_{C_j}(\bar e)}}_{T_2}\;\Bigg\} γe=max{T1 ∣Cj∣1,T2 eˉ∈FCj0maxWCj(eˉ)d(e,eˉ)}

T1=1/∣Cj∣T_1=1/|C_j|T1=1/∣Cj∣：保证每个点都有起码的采样概率（对应均匀采样的兜底），没人被完全忽略；
T2T_2T2：捕捉 eee 对"锚点"eˉ\bar eeˉ 的相对贡献 。如果 eee 离某个锚点特别远、贡献了 WCj(eˉ)W_{C_j}(\bar e)WCj(eˉ) 的一大块，那它对估计精度至关重要，就该被高概率采到。

这里的 FCj0F^0_{C_j}FCj0 是一个初始小样本 ，专门用来找到簇的"中心元素（central element）"作为锚点------中心元素是那种"离簇内大多数点都近"的点，它能提供一个稳定的 WWW 参照系。

Phase 2（估计）的关键是逆概率加权（Horvitz--Thompson 型估计）：

W^Cj(e)=∑e′∈FCjd(e,e′)pe′ \widehat{W}{C_j}(e)=\sum{e'\in F_{C_j}}\frac{d(e,e')}{p_{e'}} W Cj(e)=e′∈FCj∑pe′d(e,e′)

每个被采到的点，其距离贡献都除以它的采样概率 pe′p_{e'}pe′。这是保证无偏的标准手法------采样概率越低的点，一旦被选中就代表越多"同类"，因此权重越大。

3.4 定理 1 的证明：三层递进

证明分三块，逻辑链条很清晰：
#mermaid-svg-zzyerRvLpoVBtbet{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-zzyerRvLpoVBtbet .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-zzyerRvLpoVBtbet .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-zzyerRvLpoVBtbet .error-icon{fill:#552222;}#mermaid-svg-zzyerRvLpoVBtbet .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-zzyerRvLpoVBtbet .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-zzyerRvLpoVBtbet .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-zzyerRvLpoVBtbet .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-zzyerRvLpoVBtbet .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-zzyerRvLpoVBtbet .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-zzyerRvLpoVBtbet .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-zzyerRvLpoVBtbet .marker{fill:#333333;stroke:#333333;}#mermaid-svg-zzyerRvLpoVBtbet .marker.cross{stroke:#333333;}#mermaid-svg-zzyerRvLpoVBtbet svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-zzyerRvLpoVBtbet p{margin:0;}#mermaid-svg-zzyerRvLpoVBtbet .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-zzyerRvLpoVBtbet .cluster-label text{fill:#333;}#mermaid-svg-zzyerRvLpoVBtbet .cluster-label span{color:#333;}#mermaid-svg-zzyerRvLpoVBtbet .cluster-label span p{background-color:transparent;}#mermaid-svg-zzyerRvLpoVBtbet .label text,#mermaid-svg-zzyerRvLpoVBtbet span{fill:#333;color:#333;}#mermaid-svg-zzyerRvLpoVBtbet .node rect,#mermaid-svg-zzyerRvLpoVBtbet .node circle,#mermaid-svg-zzyerRvLpoVBtbet .node ellipse,#mermaid-svg-zzyerRvLpoVBtbet .node polygon,#mermaid-svg-zzyerRvLpoVBtbet .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-zzyerRvLpoVBtbet .rough-node .label text,#mermaid-svg-zzyerRvLpoVBtbet .node .label text,#mermaid-svg-zzyerRvLpoVBtbet .image-shape .label,#mermaid-svg-zzyerRvLpoVBtbet .icon-shape .label{text-anchor:middle;}#mermaid-svg-zzyerRvLpoVBtbet .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-zzyerRvLpoVBtbet .rough-node .label,#mermaid-svg-zzyerRvLpoVBtbet .node .label,#mermaid-svg-zzyerRvLpoVBtbet .image-shape .label,#mermaid-svg-zzyerRvLpoVBtbet .icon-shape .label{text-align:center;}#mermaid-svg-zzyerRvLpoVBtbet .node.clickable{cursor:pointer;}#mermaid-svg-zzyerRvLpoVBtbet .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-zzyerRvLpoVBtbet .arrowheadPath{fill:#333333;}#mermaid-svg-zzyerRvLpoVBtbet .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-zzyerRvLpoVBtbet .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-zzyerRvLpoVBtbet .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-zzyerRvLpoVBtbet .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-zzyerRvLpoVBtbet .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-zzyerRvLpoVBtbet .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-zzyerRvLpoVBtbet .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-zzyerRvLpoVBtbet .cluster text{fill:#333;}#mermaid-svg-zzyerRvLpoVBtbet .cluster span{color:#333;}#mermaid-svg-zzyerRvLpoVBtbet div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-zzyerRvLpoVBtbet .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-zzyerRvLpoVBtbet rect.text{fill:none;stroke-width:0;}#mermaid-svg-zzyerRvLpoVBtbet .icon-shape,#mermaid-svg-zzyerRvLpoVBtbet .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-zzyerRvLpoVBtbet .icon-shape p,#mermaid-svg-zzyerRvLpoVBtbet .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-zzyerRvLpoVBtbet .icon-shape .label rect,#mermaid-svg-zzyerRvLpoVBtbet .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-zzyerRvLpoVBtbet .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-zzyerRvLpoVBtbet .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-zzyerRvLpoVBtbet :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Lemma 1

权重 W 的相对误差 ≤ ε

(概率 ≥ 1-3δ/5)
Lemma 2

轮廓 s(e) 的绝对误差

≤ 4ε/(1-ε)
Lemma 3

样本量与距离计算次数上界

(概率 ≥ 1-2δ/5)
定理 1

Lemma 1：权重估计的相对误差界（全文最硬的一块）

引理 1 ：取 c=18c=18c=18。若 t=⌈(3c/ε2)ln⁡(5nk/δ)⌉t=\lceil(3c/\varepsilon^2)\ln(5nk/\delta)\rceilt=⌈(3c/ε2)ln(5nk/δ)⌉，则以概率至少 1−3δ/51-3\delta/51−3δ/5，对每个元素 e∈Ve\in Ve∈V 和每个簇 CjC_jCj：

∣W^Cj(e)−WCj(e)WCj(e)∣≤ε\left|\frac{\widehat{W}{C_j}(e)-W{C_j}(e)}{W_{C_j}(e)}\right|\le\varepsilon WCj(e)W Cj(e)−WCj(e) ≤ε

作者明确写道，这里的证明"扩展并修补了 Chechik et al. $2015, Lemma 12$ 中被草草带过（poorly sketched）的论证"------这是本文相对会议版的实质贡献之一：修复了此前文献里采样复杂度证明的漏洞。

证明骨架（我逐步重述并补全推导）：

Step 1 ------ 中心元素一定被采到。 对 e∈Cje\in C_je∈Cj，令 m(e)m(e)m(e) 为 eee 到簇内其他点距离的中位数 （即到第 ⌈∣Cj∣/2+1⌉\lceil|C_j|/2+1\rceil⌈∣Cj∣/2+1⌉ 近的点的距离）。令 emin⁡=arg⁡min⁡e′m(e′)e_{\min}=\arg\min_{e'} m(e')emin=argmine′m(e′)。称 eee 为良置的（well positioned） ，若 m(e)≤2m(emin⁡)m(e)\le 2m(e_{\min})m(e)≤2m(emin)。

由三角不等式可证：离 emin⁡e_{\min}emin 最近的那 ⌈∣Cj∣/2⌉\lceil|C_j|/2\rceil⌈∣Cj∣/2⌉ 个点全是良置的。于是初始样本 FCj0F^0_{C_j}FCj0（每点以 2∣Cj∣ln⁡5kδ\frac{2}{|C_j|}\ln\frac{5k}{\delta}∣Cj∣2lnδ5k 的概率入选）漏掉所有良置点的概率极小：

P $无良置点$ ≤(1−2∣Cj∣ln⁡5kδ)∣Cj∣/2≤exp⁡ ⁣(−ln⁡5kδ)=δ5k P $\\text{无良置点}$ \le\left(1-\frac{2}{|C_j|}\ln\frac{5k}{\delta}\right)^{|C_j|/2}\le\exp\!\left(-\ln\frac{5k}{\delta}\right)=\frac{\delta}{5k} P $无良置点$ ≤(1−∣Cj∣2lnδ5k)∣Cj∣/2≤exp(−lnδ5k)=5kδ

📐 推导验证 ：这里用了不等式 (1+q/x)x≤exp⁡(q)(1+q/x)^x\le\exp(q)(1+q/x)x≤exp(q)。令 x=∣Cj∣/2x=|C_j|/2x=∣Cj∣/2，把括号写成 (1−ln⁡(5k/δ)∣Cj∣/2)∣Cj∣/2\left(1-\frac{\ln(5k/\delta)}{|C_j|/2}\right)^{|C_j|/2}(1−∣Cj∣/2ln(5k/δ))∣Cj∣/2，对应 q=−ln⁡(5k/δ)q=-\ln(5k/\delta)q=−ln(5k/δ)，直接得 ≤e−ln⁡(5k/δ)=δ/(5k)\le e^{-\ln(5k/\delta)}=\delta/(5k)≤e−ln(5k/δ)=δ/(5k)。成立需 ∣Cj∣/2>ln⁡(5k/δ)|C_j|/2>\ln(5k/\delta)∣Cj∣/2>ln(5k/δ)，这由 ∣Cj∣>t|C_j|>t∣Cj∣>t 保证。✓

Step 2 ------ 有了良置锚点，γe\gamma_eγe 不会太小。 引用 Chechik et al. $2015, Lemma 9$ ：若 FCj0F^0_{C_j}FCj0 含良置点，则对 c=18c=18c=18，

γe≥1cmax⁡e′∈Cjd(e,e′)WCj(e′)(6) \gamma_e\ge\frac{1}{c}\max_{e'\in C_j}\frac{d(e,e')}{W_{C_j}(e')} \tag{6} γe≥c1e′∈CjmaxWCj(e′)d(e,e′)(6)

这是整个 pps 方案的"心脏"：它保证每个点的采样概率 pe=tγep_e=t\gamma_epe=tγe 下界正比于它的最大相对贡献，从而使逆概率加权估计的方差可控。

Step 3 ------ Chernoff-Hoeffding 收尾。 固定 e∈Cje\in C_je∈Cj。对每个 e′∈Cje'\in C_je′∈Cj，定义随机变量

Xe(e′)={d(e,e′)/pe′以概率 pe′0否则 X_e(e')=\begin{cases}d(e,e')/p_{e'} & \text{以概率 } p_{e'}\\ 0 & \text{否则}\end{cases} Xe(e′)={d(e,e′)/pe′0以概率 pe′否则

则 W^Cj(e)=∑e′Xe(e′)\widehat{W}{C_j}(e)=\sum{e'}X_e(e')W Cj(e)=∑e′Xe(e′)，且由期望线性性 E $W\^Cj(e)$ =WCj(e)\mathbb{E} $\\widehat{W}_{C_j}(e)$ =W_{C_j}(e)E $W Cj(e)$ =WCj(e)（无偏）。

令 τe=WCj(e)/(t/c)\tau_e=W_{C_j}(e)/(t/c)τe=WCj(e)/(t/c)，归一化 Ye(e′)=Xe(e′)/τeY_e(e')=X_e(e')/\tau_eYe(e′)=Xe(e′)/τe。由 (6) 可证 Ye(e′)∈ $0,1$ Y_e(e')\in $0,1$ Ye(e′)∈ $0,1$ ，且

μe=E $\sume'Ye(e')$ =WCj(e)τe=tc \mu_e=\mathbb{E}\Big $\\sum_{e'}Y_e(e')\\Big$ =\frac{W_{C_j}(e)}{\tau_e}=\frac{t}{c} μe=E $e'\sumYe(e')$ =τeWCj(e)=ct

对独立的 $0,1$ $0,1$ $0,1$ 变量之和应用 Chernoff-Hoeffding 界（Theorem 7）：

P $\sume'Ye(e')\geq(1+ε)μe$ ≤exp⁡ ⁣(−ε23⋅tc)≤δ5nk P\Big $\\sum_{e'}Y_e(e')\\ge(1+\\varepsilon)\\mu_e\\Big$ \le\exp\!\left(-\frac{\varepsilon^2}{3}\cdot\frac{t}{c}\right)\le\frac{\delta}{5nk} P $e'\sumYe(e')\geq(1+ε)μe$ ≤exp(−3ε2⋅ct)≤5nkδ

📐 推导验证 ：代入 t=(3c/ε2)ln⁡(5nk/δ)t=(3c/\varepsilon^2)\ln(5nk/\delta)t=(3c/ε2)ln(5nk/δ)，指数项 ε23⋅tc=ε23⋅3ln⁡(5nk/δ)ε2=ln⁡(5nk/δ)\frac{\varepsilon^2}{3}\cdot\frac{t}{c}=\frac{\varepsilon^2}{3}\cdot\frac{3\ln(5nk/\delta)}{\varepsilon^2}=\ln(5nk/\delta)3ε2⋅ct=3ε2⋅ε23ln(5nk/δ)=ln(5nk/δ)，故 exp⁡(−ln⁡(5nk/δ))=δ/(5nk)\exp(-\ln(5nk/\delta))=\delta/(5nk)exp(−ln(5nk/δ))=δ/(5nk)。✓ 对称地可证下偏界。

Step 4 ------ 两次 union bound。 第一次对 kkk 个簇：全部含良置点的失败概率 ≤k⋅δ/(5k)=δ/5\le k\cdot\delta/(5k)=\delta/5≤k⋅δ/(5k)=δ/5。第二次对 n×kn\times kn×k 个 (e,Cj)(e,C_j)(e,Cj) 对：条件在良置事件下，相对误差超标的概率 ≤2nk⋅δ/(5nk)=2δ/5\le 2nk\cdot\delta/(5nk)=2\delta/5≤2nk⋅δ/(5nk)=2δ/5。合计失败概率 ≤δ/5+2δ/5=3δ/5\le\delta/5+2\delta/5=3\delta/5≤δ/5+2δ/5=3δ/5，故成功概率 ≥1−3δ/5\ge 1-3\delta/5≥1−3δ/5。■\blacksquare■

Lemma 2：从"相对误差"到"绝对误差"的传播（推导最优雅的一块）

引理 2 ：在事件 EEE（Lemma 1 对所有 e,Cje,C_je,Cj 成立）下，silh-pps-all 输出满足

∣s^(e)−s(e)∣≤4ε1−ε|\widehat{s}(e)-s(e)|\le\frac{4\varepsilon}{1-\varepsilon}∣s (e)−s(e)∣≤1−ε4ε

这是全文我最想让你精读的推导。 它回答了一个非平凡的问题：a,ba,ba,b 各有 ε\varepsilonε 的相对误差，经过 b−amax⁡{a,b}\frac{b-a}{\max\{a,b\}}max{a,b}b−a 这个非线性组合后，sss 的绝对误差会被放大成什么？

Step 1 ------ 分子分母各自的相对误差都 ≤ε\le\varepsilon≤ε。

a(e)=WC(e)/(∣C∣−1)a(e)=W_C(e)/(|C|-1)a(e)=WC(e)/(∣C∣−1)，直接继承 Lemma 1，故 ∣(a^−a)/a∣≤ε|(\widehat a-a)/a|\le\varepsilon∣(a −a)/a∣≤ε。
b(e)=min⁡Cj≠CbCj(e)b(e)=\min_{C_j\neq C}b_{C_j}(e)b(e)=minCj=CbCj(e)，其中 bCj(e)=WCj(e)/∣Cj∣b_{C_j}(e)=W_{C_j}(e)/|C_j|bCj(e)=WCj(e)/∣Cj∣。虽然 b^\hat bb^ 和 bbb 的 min⁡\minmin 可能在不同的簇 取到，但仍能证 ∣(b^−b)/b∣≤ε|(\hat b-b)/b|\le\varepsilon∣(b^−b)/b∣≤ε。作者的论证很干净：设 b(e)=bC′(e)b(e)=b_{C'}(e)b(e)=bC′(e)，b^(e)=bC′′^(e)\hat b(e)=b_{\widehat{C''}}(e)b^(e)=bC′′ (e)，则

(1−ε)b(e)=(1−ε)bC′(e)≤(1−ε)bC′′(e)≤b^C′′(e)=b^(e) (1-\varepsilon)b(e)=(1-\varepsilon)b_{C'}(e)\le(1-\varepsilon)b_{C''}(e)\le\widehat{b}_{C''}(e)=\hat b(e) (1−ε)b(e)=(1−ε)bC′(e)≤(1−ε)bC′′(e)≤b C′′(e)=b^(e)

b^(e)=b^C′′(e)≤b^C′(e)≤(1+ε)bC′(e)=(1+ε)b(e) \hat b(e)=\widehat b_{C''}(e)\le\widehat b_{C'}(e)\le(1+\varepsilon)b_{C'}(e)=(1+\varepsilon)b(e) b^(e)=b C′′(e)≤b C′(e)≤(1+ε)bC′(e)=(1+ε)b(e)

📐 为什么 min 不会破坏误差界？ 关键在于两个方向各用一个"次优簇"夹逼：左边用 C′C'C′（真实最优）在估计侧的松弛，右边用 C′′C''C′′（估计最优）在真实侧的松弛。这是处理"min/max 里的近似"的标准技巧，值得收进工具箱。

Step 2 ------ 分母 M(e)=max⁡{a,b}M(e)=\max\{a,b\}M(e)=max{a,b} 的相对误差也 ≤ε\le\varepsilon≤ε。 设 M(e)=a(e)M(e)=a(e)M(e)=a(e)（即 a≥ba\ge ba≥b，另一情形对称）。若 M^=a^\widehat M=\hat aM =a^，界显然。若 M^=b^\widehat M=\hat bM =b^（即 b^≥a^\hat b\ge\hat ab^≥a^）：

M^(e)=b^(e)≤(1+ε)b(e)≤(1+ε)a(e)=(1+ε)M(e) \widehat M(e)=\hat b(e)\le(1+\varepsilon)b(e)\le(1+\varepsilon)a(e)=(1+\varepsilon)M(e) M (e)=b^(e)≤(1+ε)b(e)≤(1+ε)a(e)=(1+ε)M(e)

M^(e)=b^(e)≥a^(e)≥(1−ε)a(e)=(1−ε)M(e) \widehat M(e)=\hat b(e)\ge\hat a(e)\ge(1-\varepsilon)a(e)=(1-\varepsilon)M(e) M (e)=b^(e)≥a^(e)≥(1−ε)a(e)=(1−ε)M(e)

Step 3 ------ 组合出绝对误差（核心代数）。 以 M(e)=a(e)M(e)=a(e)M(e)=a(e) 为例，上界：

s^(e)=b^(e)−a^(e)M^(e)≤(1+ε)b(e)−(1−ε)a(e)(1−ε)a(e) \widehat{s}(e)=\frac{\hat b(e)-\hat a(e)}{\widehat M(e)}\le\frac{(1+\varepsilon)b(e)-(1-\varepsilon)a(e)}{(1-\varepsilon)a(e)} s (e)=M (e)b^(e)−a^(e)≤(1−ε)a(e)(1+ε)b(e)−(1−ε)a(e)

作者声称这恰好等于 s(e)+2ε1−ε(s(e)+1)s(e)+\frac{2\varepsilon}{1-\varepsilon}(s(e)+1)s(e)+1−ε2ε(s(e)+1)。我们把它推出来验证 （记 a=a(e),b=b(e)a=a(e),b=b(e)a=a(e),b=b(e)，此时 s(e)=b−aas(e)=\frac{b-a}{a}s(e)=ab−a）：

s(e)+2ε1−ε(s(e)+1)=b−aa+2ε1−ε⋅ba=(b−a)(1−ε)+2εb(1−ε)a s(e)+\frac{2\varepsilon}{1-\varepsilon}(s(e)+1) =\frac{b-a}{a}+\frac{2\varepsilon}{1-\varepsilon}\cdot\frac{b}{a} =\frac{(b-a)(1-\varepsilon)+2\varepsilon b}{(1-\varepsilon)a} s(e)+1−ε2ε(s(e)+1)=ab−a+1−ε2ε⋅ab=(1−ε)a(b−a)(1−ε)+2εb

展开分子：(b−a)(1−ε)+2εb=b−a−εb+εa+2εb=(1+ε)b−(1−ε)a(b-a)(1-\varepsilon)+2\varepsilon b=b-a-\varepsilon b+\varepsilon a+2\varepsilon b=(1+\varepsilon)b-(1-\varepsilon)a(b−a)(1−ε)+2εb=b−a−εb+εa+2εb=(1+ε)b−(1−ε)a。所以

s(e)+2ε1−ε(s(e)+1)=(1+ε)b−(1−ε)a(1−ε)a✓ s(e)+\frac{2\varepsilon}{1-\varepsilon}(s(e)+1)=\frac{(1+\varepsilon)b-(1-\varepsilon)a}{(1-\varepsilon)a}\quad\checkmark s(e)+1−ε2ε(s(e)+1)=(1−ε)a(1+ε)b−(1−ε)a✓

再用 s(e)≤1⇒s(e)+1≤2s(e)\le 1\Rightarrow s(e)+1\le 2s(e)≤1⇒s(e)+1≤2：

s^(e)≤s(e)+2ε1−ε⋅2=s(e)+4ε1−ε \widehat{s}(e)\le s(e)+\frac{2\varepsilon}{1-\varepsilon}\cdot 2=s(e)+\frac{4\varepsilon}{1-\varepsilon} s (e)≤s(e)+1−ε2ε⋅2=s(e)+1−ε4ε

下界同理，用 b^≥(1−ε)b, a^≤(1+ε)a, M^≤(1+ε)M\hat b\ge(1-\varepsilon)b,\;\hat a\le(1+\varepsilon)a,\;\widehat M\le(1+\varepsilon)Mb^≥(1−ε)b,a^≤(1+ε)a,M ≤(1+ε)M：

s^(e)≥(1−ε)b−(1+ε)a(1+ε)a=s(e)−2ε1+ε(s(e)+1)≥s(e)−4ε1+ε≥s(e)−4ε1−ε \widehat{s}(e)\ge\frac{(1-\varepsilon)b-(1+\varepsilon)a}{(1+\varepsilon)a}=s(e)-\frac{2\varepsilon}{1+\varepsilon}(s(e)+1)\ge s(e)-\frac{4\varepsilon}{1+\varepsilon}\ge s(e)-\frac{4\varepsilon}{1-\varepsilon} s (e)≥(1+ε)a(1−ε)b−(1+ε)a=s(e)−1+ε2ε(s(e)+1)≥s(e)−1+ε4ε≥s(e)−1−ε4ε

📐 验证下界等式 ：s(e)−2ε1+ε⋅ba=(b−a)(1+ε)−2εb(1+ε)as(e)-\frac{2\varepsilon}{1+\varepsilon}\cdot\frac{b}{a}=\frac{(b-a)(1+\varepsilon)-2\varepsilon b}{(1+\varepsilon)a}s(e)−1+ε2ε⋅ab=(1+ε)a(b−a)(1+ε)−2εb，分子 =b−a+εb−εa−2εb=(1−ε)b−(1+ε)a=b-a+\varepsilon b-\varepsilon a-2\varepsilon b=(1-\varepsilon)b-(1+\varepsilon)a=b−a+εb−εa−2εb=(1−ε)b−(1+ε)a。✓ 最后一步 4ε1+ε≤4ε1−ε\frac{4\varepsilon}{1+\varepsilon}\le\frac{4\varepsilon}{1-\varepsilon}1+ε4ε≤1−ε4ε 因 1+ε≥1−ε1+\varepsilon\ge 1-\varepsilon1+ε≥1−ε。

合并上下界即得 ∣s^(e)−s(e)∣≤4ε1−ε|\widehat s(e)-s(e)|\le\frac{4\varepsilon}{1-\varepsilon}∣s (e)−s(e)∣≤1−ε4ε。■\blacksquare■

🎓 教授视角 ：这个引理是"相对误差 → 绝对误差"传播分析的教科书级范例。很多人做近似算法只证到"权重估准了"就停手，但对轮廓系数这种带 max⁡/min⁡\max/\minmax/min 的比值型指标，误差如何在非线性运算中传播 才是真正决定可用性的部分。特别注意 4ε1−ε\frac{4\varepsilon}{1-\varepsilon}1−ε4ε 里那个 11−ε\frac{1}{1-\varepsilon}1−ε1------它是分母被低估（×(1−ε)\times(1-\varepsilon)×(1−ε)）导致的放大项，这解释了为什么 ε\varepsilonε 不能太接近 1（否则界会爆炸），也解释了为什么实践中即便 ε\varepsilonε 大界仍宽松（因为 s(e)+1s(e)+1s(e)+1 常远小于 2）。顺带一提，当 ε≤1/2\varepsilon\le 1/2ε≤1/2 时 4ε1−ε≤8ε=O(ε)\frac{4\varepsilon}{1-\varepsilon}\le 8\varepsilon=O(\varepsilon)1−ε4ε≤8ε=O(ε)，这就把定理 1 里的 O(ε)O(\varepsilon)O(ε) 坐实了。

Lemma 3：样本量与距离计算次数

引理 3 ：以概率至少 1−2δ/51-2\delta/51−2δ/5，对每个 ∣Cj∣>t|C_j|>t∣Cj∣>t 的簇：

∣FCj0∣=O ⁣(ln⁡kδ),∣FCj∣=O ⁣(ε−2ln⁡nkδ)|F^0_{C_j}|=O\!\left(\ln\frac{k}{\delta}\right),\qquad |F_{C_j}|=O\!\left(\varepsilon^{-2}\ln\frac{nk}{\delta}\right)∣FCj0∣=O(lnδk),∣FCj∣=O(ε−2lnδnk)

关键推导------为什么最终样本量是 O(t)O(t)O(t)： 核心是证明 ∑e∈Cjγe=O(1)\sum_{e\in C_j}\gamma_e=O(1)∑e∈Cjγe=O(1)，从而 E $∣FCj∣$ =∑epe≤t∑eγe=O(t)\mathbb{E} $\|F_{C_j}\|$ =\sum_e p_e\le t\sum_e\gamma_e=O(t)E $∣FCj∣$ =∑epe≤t∑eγe=O(t)。作者用了一个漂亮的求和交换：

∑e∈Cjγe≤1+∑e∈Cj∑eˉ∈FCj0d(e,eˉ)WCj(eˉ)=1+∑eˉ∈FCj0∑e∈Cjd(e,eˉ)WCj(eˉ)⏟= 1=1+∣FCj0∣ \sum_{e\in C_j}\gamma_e\le 1+\sum_{e\in C_j}\sum_{\bar e\in F^0_{C_j}}\frac{d(e,\bar e)}{W_{C_j}(\bar e)} =1+\sum_{\bar e\in F^0_{C_j}}\underbrace{\frac{\sum_{e\in C_j}d(e,\bar e)}{W_{C_j}(\bar e)}}{=\,1} =1+|F^0{C_j}| e∈Cj∑γe≤1+e∈Cj∑eˉ∈FCj0∑WCj(eˉ)d(e,eˉ)=1+eˉ∈FCj0∑=1 WCj(eˉ)∑e∈Cjd(e,eˉ)=1+∣FCj0∣

📐 推导验证 ：第一个 ≤\le≤ 用 max⁡{A,B}≤A+B\max\{A,B\}\le A+Bmax{A,B}≤A+B（A=1/∣Cj∣A=1/|C_j|A=1/∣Cj∣ 求和得 1）；第二个 ≤\le≤ 用 max⁡iAi≤∑iAi\max_i A_i\le\sum_i A_imaxiAi≤∑iAi；然后交换有限和的顺序；最后一步的关键是 ∑e∈Cjd(e,eˉ)=WCj(eˉ)\sum_{e\in C_j}d(e,\bar e)=W_{C_j}(\bar e)∑e∈Cjd(e,eˉ)=WCj(eˉ)（就是 WWW 的定义！），所以内层求和恒等于 1。由于 ∣FCj0∣=O(ln⁡(k/δ))|F^0_{C_j}|=O(\ln(k/\delta))∣FCj0∣=O(ln(k/δ))，整体 ∑eγe=O(1)\sum_e\gamma_e=O(1)∑eγe=O(1)（作者再分三种情形 I/II/III 补全了 F0F^0F0 取值极端时的边界论证）。✓

综合式 (7) 的距离计算次数 ∑j=1k∣Cj∣(∣FCj0∣+∣FCj∣)\sum_{j=1}^k|C_j|(|F^0_{C_j}|+|F_{C_j}|)∑j=1k∣Cj∣(∣FCj0∣+∣FCj∣)，结合各簇 ∣FCj∣=O(t)=O(ε−2ln⁡(nk/δ))|F_{C_j}|=O(t)=O(\varepsilon^{-2}\ln(nk/\delta))∣FCj∣=O(t)=O(ε−2ln(nk/δ))，即得定理 1 的 O(nkε−2log⁡(nk/δ))O(nk\varepsilon^{-2}\log(nk/\delta))O(nkε−2log(nk/δ)) 次距离计算。■\blacksquare■

3.5 定理 2 的反例：均匀采样为何"原理性失败"

这是本文构造性最强的一段，值得单独精读。作者造了一个"魔鬼数据集"：

复制代码

       C1 (m+1 个点)                     C2 (m+1 个点)
                                    
  e1..em 挤在原点附近           e'1..e'm 挤在 -1/m 附近
  (半径 r = o(1/m) 的小团)      (半径 r 的小团)
              e_{m+1} 甩到很远 R1 处    e'_{m+1} 甩到 -R2 处
                                        R2 = Θ(m)
              且 R1 ≥ L'(R2+1)  (R1 远大于 R2)

几何直觉 ：每个簇都是"一大团挤在一起的点 + 一个被甩到极远的离群点"。这个离群点 em+1e_{m+1}em+1 对 WC1(e)W_{C_1}(e)WC1(e) 的贡献占绝对主导（因为 R1R_1R1 巨大）。

Proposition 1 先算出真值：对团内点 ei (i∈ $m$ )e_i\,(i\in $m$ )ei(i∈ $m$ )，

a(ei)=R1m+o(1/m),b(ei)=R2+1m+1+o(1/m) a(e_i)=\frac{R_1}{m}+o(1/m),\qquad b(e_i)=\frac{R_2+1}{m+1}+o(1/m) a(ei)=mR1+o(1/m),b(ei)=m+1R2+1+o(1/m)

设 R1=L(R2+1)mm+1R_1=L(R_2+1)\frac{m}{m+1}R1=L(R2+1)m+1m，则

s(ei)=(R2+1)/(m+1)−R1/mmax⁡{(R2+1)/(m+1), R1/m}=(1−L)L=−1+1L≈−1 s(e_i)=\frac{(R_2+1)/(m+1)-R_1/m}{\max\{(R_2+1)/(m+1),\,R_1/m\}}=\frac{(1-L)}{L}=-1+\frac{1}{L}\approx-1 s(ei)=max{(R2+1)/(m+1),R1/m}(R2+1)/(m+1)−R1/m=L(1−L)=−1+L1≈−1

也就是说，这些团内点的真实轮廓都是 ≈−1\approx-1≈−1（它们被那个远处离群点"拖累"，其实分得很糟）。

Proposition 2 是杀招：

均匀采样 以 1−o(1)1-o(1)1−o(1) 的概率采不到 离群点 em+1e_{m+1}em+1（因为它只是 m+1m+1m+1 个点里的 1 个，采样概率 t/(m+1)=o(1)t/(m+1)=o(1)t/(m+1)=o(1)）。于是 W^C1U(e)\widehat{W}^U_{C_1}(e)W C1U(e) 只反映了团内的微小距离，≈0\approx 0≈0，导致

s^U(ei)=1/m1/m+o(1)≈+1 \widehat{s}^U(e_i)=\frac{1/m}{1/m}+o(1)\approx +1 s U(ei)=1/m1/m+o(1)≈+1

均匀采样给出 ≈+1\approx+1≈+1，真值却是 ≈−1\approx-1≈−1，误差 ≈2\approx 2≈2（满量程！）。

pps 采样 则以接近 1 的概率一定采到 em+1e_{m+1}em+1------因为它对 WWW 的相对贡献 γem+1≥R1−rR1+r+2mr=1−o(1)\gamma_{e_{m+1}}\ge\frac{R_1-r}{R_1+r+2mr}=1-o(1)γem+1≥R1+r+2mrR1−r=1−o(1)，采样概率被顶到接近 1。于是 pps 正确地重建出 W^C1(e)=R1+o(R1)\widehat{W}_{C_1}(e)=R_1+o(R_1)W C1(e)=R1+o(R1)，给出 s^(e)≈−1\widehat s(e)\approx-1s (e)≈−1，与真值一致。

🎓 教授视角 ：这个反例的深刻之处在于------它精准打击了均匀采样的盲区：当求和量被少数"重尾"元素主导时，均匀采样几乎必然漏掉这些关键元素，而这些元素恰恰承载了绝大部分信息。这不是数据集"刁钻"，而是真实世界的常态（想想任何有离群点/长尾的聚类）。pps 采样的全部价值，就是把采样概率与"信息贡献"对齐。这段构造也顺带说明了为什么本文的保证是 uniform（对所有点一致）------因为失败模式是系统性的（一整簇的团内点集体翻车），而非随机个例。

四、全局轮廓估计：三个估计器的取舍

全局问题只要一个标量 s(C)s(\mathcal{C})s(C)，反而给了更多设计自由度。作者给了三个估计器，构成一条清晰的"精度-效率"谱系。

问题 2 ：给定 VVV、kkk-划分 C\mathcal{C}C、ε,δ∈(0,1)\varepsilon,\delta\in(0,1)ε,δ∈(0,1)，求 s′(C)s'(\mathcal{C})s′(C) 使 ∣s′(C)−s(C)∣≤f(ε)|s'(\mathcal{C})-s(\mathcal{C})|\le f(\varepsilon)∣s′(C)−s(C)∣≤f(ε)（概率 ≥1−δ\ge1-\delta≥1−δ），最小化距离计算。

4.1 gl-s：最朴素也最好用的估计器

直接采样 mmm 个点，算它们的精确 s(e)s(e)s(e) 取平均：

s^1(C)=1m∑ℓ=1ms(eℓ)(8) \widehat{s}1(\mathcal{C})=\frac{1}{m}\sum{\ell=1}^{m}s(e_\ell) \tag{8} s 1(C)=m1ℓ=1∑ms(eℓ)(8)

定理 3 ：若 m≥2ε2ln⁡2δm\ge\frac{2}{\varepsilon^2}\ln\frac{2}{\delta}m≥ε22lnδ2，则 ∣s^1(C)−s(C)∣≤ε|\widehat s_1(\mathcal{C})-s(\mathcal{C})|\le\varepsilon∣s 1(C)−s(C)∣≤ε，概率 ≥1−δ\ge1-\delta≥1−δ。

证明一行 ：s(eℓ)∈ $-1,1$ s(e_\ell)\in $-1,1$ s(eℓ)∈ $-1,1$ 且 E $s(eℓ)$ =1n∑es(e)=s(C)\mathbb{E} $s(e_\\ell)$ =\frac{1}{n}\sum_e s(e)=s(\mathcal{C})E $s(eℓ)$ =n1∑es(e)=s(C)，直接套 Hoeffding 界（Theorem 6，区间宽度 b−a=2b-a=2b−a=2）即得。时间复杂度 O(mn)O(mn)O(mn)（每个采样点的精确 s(e)s(e)s(e) 需扫全数据）。

🎓 教授视角 ：这个估计器的精妙在于它的"笨"。它不估权重、不做 pps，就是老老实实采点算精确值。代价是每个点要 O(n)O(n)O(n) 扫全簇，所以 mmm 个点是 O(mn)O(mn)O(mn)。但注意------它的样本量与 kkk 无关 （2ε2ln⁡2δ\frac{2}{\varepsilon^2}\ln\frac{2}{\delta}ε22lnδ2），而且实验里它常常拿到最好的精度-方差表现。这提醒我们：全局估计（求平均标量）和局部估计（要每个点都准）是本质不同的难度等级，前者的方差集中效应强得多。

4.2 gl-pps-f：复用 silh-pps-all 的全量估计

对 silh-pps-all 输出的所有 s^(e)\widehat s(e)s (e) 求平均：

s^2(C)=1n∑e∈Vs^(e)(9) \widehat{s}2(\mathcal{C})=\frac{1}{n}\sum{e\in V}\widehat s(e) \tag{9} s 2(C)=n1e∈V∑s (e)(9)

定理 4 ：∣s^2(C)−s(C)∣≤4ε1−ε|\widehat s_2(\mathcal{C})-s(\mathcal{C})|\le\frac{4\varepsilon}{1-\varepsilon}∣s 2(C)−s(C)∣≤1−ε4ε，概率 ≥1−δ\ge1-\delta≥1−δ。

证明是 Lemma 1+2 的直接推论（每个 s^(e)\widehat s(e)s (e) 都准，平均自然准）。时间 O(nkt)O(nkt)O(nkt)。注意它的误差界继承了局部估计的 4ε1−ε\frac{4\varepsilon}{1-\varepsilon}1−ε4ε，比 gl-s 的 ε\varepsilonε 松，但它同时产出了所有局部值。

4.3 gl-pps-s：两阶段采样，大数据集的最优解

这是本文相对会议版新增的估计器之一。观察到一个关键事实：Phase 1（pps 采样）跑完后，所有 s^(e)\widehat s(e)s (e) 的值就已经"确定"了，即使还没被显式计算出来 （因为样本 FCjF_{C_j}FCj 一旦固定，随机性就没了）。于是可以两阶段：

跑 silh-pps-all 的 Phase 1，固定所有样本 FCjF_{C_j}FCj；
从 {1,...,n}\{1,\dots,n\}{1,...,n} 均匀采 mmm 个下标 i1,...,imi_1,\dots,i_mi1,...,im；
只对这 mmm 个点算 s^(eij)\widehat s(e_{i_j})s (eij)；
返回 sˉ(C)=1m∑j=1ms^(eij)\bar s(\mathcal{C})=\frac{1}{m}\sum_{j=1}^m\widehat s(e_{i_j})sˉ(C)=m1∑j=1ms (eij)。

sˉ(C)=1m∑j=1ms^(eij)(10) \bar s(\mathcal{C})=\frac{1}{m}\sum_{j=1}^{m}\widehat s(e_{i_j}) \tag{10} sˉ(C)=m1j=1∑ms (eij)(10)

误差分析是两层三角不等式的叠加：

引理 4 ：E $sˉ(C)$ =s^2(C)\mathbb{E} $\\bar s(\\mathcal{C})$ =\widehat s_2(\mathcal{C})E $sˉ(C)$ =s 2(C)（无偏，因为均匀采下标）。

引理 5 ：若 m≥2ε22ln⁡2δ2m\ge\frac{2}{\varepsilon_2^2}\ln\frac{2}{\delta_2}m≥ε222lnδ22，则 P $∣s\^2−sˉ∣≥ε2$ ≤δ2P $\|\\widehat s_2-\\bar s\|\\ge\\varepsilon_2$ \le\delta_2P $∣s 2-sˉ∣\geqε2$ ≤δ2（对 s^2\widehat s_2s 2 用 Hoeffding）。

引理 6 ：∣s(C)−sˉ(C)∣≤ε1+ε2|s(\mathcal{C})-\bar s(\mathcal{C})|\le\varepsilon_1+\varepsilon_2∣s(C)−sˉ(C)∣≤ε1+ε2，概率 ≥(1−δ1)(1−δ2)\ge(1-\delta_1)(1-\delta_2)≥(1−δ1)(1−δ2)。

引理 6 的推导是干净的三角不等式：

∣s(C)−sˉ(C)∣≤∣s(C)−s^2(C)∣⏟≤ε1, 定理4+∣s^2(C)−sˉ(C)∣⏟≤ε2, 引理5 |s(\mathcal{C})-\bar s(\mathcal{C})|\le\underbrace{|s(\mathcal{C})-\widehat s_2(\mathcal{C})|}{\le\varepsilon_1,\ \text{定理4}}+\underbrace{|\widehat s_2(\mathcal{C})-\bar s(\mathcal{C})|}{\le\varepsilon_2,\ \text{引理5}} ∣s(C)−sˉ(C)∣≤≤ε1, 定理4 ∣s(C)−s 2(C)∣+≤ε2, 引理5 ∣s 2(C)−sˉ(C)∣

两个误差源独立，故概率相乘。参数配平 很讲究：令 ε2=ε−ε1\varepsilon_2=\varepsilon-\varepsilon_1ε2=ε−ε1，由 ε1≤4ε′1−ε′\varepsilon_1\le\frac{4\varepsilon'}{1-\varepsilon'}ε1≤1−ε′4ε′ 取 ε′=ε/q (q>4)\varepsilon'=\varepsilon/q\,(q>4)ε′=ε/q(q>4)；置信度用 δ1=δ/2, δ2=δ/(2−δ)\delta_1=\delta/2,\;\delta_2=\delta/(2-\delta)δ1=δ/2,δ2=δ/(2−δ)，则 (1−δ1)(1−δ2)≥1−δ(1-\delta_1)(1-\delta_2)\ge1-\delta(1−δ1)(1−δ2)≥1−δ。时间 O(nlog⁡(nk/δ)+mkt)O(n\log(nk/\delta)+mkt)O(nlog(nk/δ)+mkt)------只在 mmm 个点上跑 Phase 2，这是它在大数据上碾压 gl-pps-f 的原因。

4.4 三估计器对照表（复现论文 Table 1）

算法	估计器	误差保证	距离计算	概率
gl-s	s^1(C)\widehat s_1(\mathcal{C})s 1(C)	≤ε\le\varepsilon≤ε	O ⁣(nε2log⁡1δ)O\!\left(\dfrac{n}{\varepsilon^2}\log\dfrac{1}{\delta}\right)O(ε2nlogδ1)	>1−δ>1-\delta>1−δ
gl-pps-f	s^2(C)\widehat s_2(\mathcal{C})s 2(C)	≤4ε1−ε\le\dfrac{4\varepsilon}{1-\varepsilon}≤1−ε4ε	O ⁣(nkε2log⁡nkδ)O\!\left(\dfrac{nk}{\varepsilon^2}\log\dfrac{nk}{\delta}\right)O(ε2nklogδnk)	>1−δ>1-\delta>1−δ
gl-pps-s	sˉ(C)\bar s(\mathcal{C})sˉ(C)	≤4ε11−ε1+ε2\le\dfrac{4\varepsilon_1}{1-\varepsilon_1}+\varepsilon_2≤1−ε14ε1+ε2	O ⁣(n+m(ε2,δ2)kε12log⁡nkδ1)O\!\left(n+\dfrac{m(\varepsilon_2,\delta_2)k}{\varepsilon_1^2}\log\dfrac{nk}{\delta_1}\right)O(n+ε12m(ε2,δ2)klogδ1nk)	>(1−δ1)(1−δ2)>(1-\delta_1)(1-\delta_2)>(1−δ1)(1−δ2)

🎓 教授视角 ：读这张表要看"nnn 前面的系数"。gl-s 是 1ε2log⁡1δ\frac{1}{\varepsilon^2}\log\frac{1}{\delta}ε21logδ1（无 kkk，无 nknknk 里的 log⁡n\log nlogn）；gl-pps-f 是 kε2log⁡nkδ\frac{k}{\varepsilon^2}\log\frac{nk}{\delta}ε2klogδnk（贵在 kkk 和 log⁡n\log nlogn）；gl-pps-s 把主项从 nknknk 降到 nnn（线性扫一遍）+ 一个只依赖 mmm 的小项。三者的定位很清楚 ：只要全局标量，gl-s 最省；若顺便要所有局部值，gl-pps-f；若数据海量、只要全局标量但连 O(nk)O(nk)O(nk) 都嫌贵，gl-pps-s。

五、分布式设计：常数轮 + 亚线性内存

5.1 MapReduce 模型与设计参数

作者把 silh-pps-all 搬进 MapReduce（并说明可平移到 MPC）。核心设计参数是 w=Θ(nα)w=\Theta(n^\alpha)w=Θ(nα)，α≤1/2\alpha\le1/2α≤1/2，把数据切成 www 份，每份 n/wn/wn/w 个点。www 是可利用并行度的上界，取 O(n)O(\sqrt n)O(n ) 对现代海量数据不构成限制。

局部估计只需 3 轮：
#mermaid-svg-0Sbs306Eg7nnz3uq{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}@keyframes edge-animation-frame{from{stroke-dashoffset:0;}}@keyframes dash{to{stroke-dashoffset:0;}}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-animation-slow{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 50s linear infinite;stroke-linecap:round;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-animation-fast{stroke-dasharray:9,5!important;stroke-dashoffset:900;animation:dash 20s linear infinite;stroke-linecap:round;}#mermaid-svg-0Sbs306Eg7nnz3uq .error-icon{fill:#552222;}#mermaid-svg-0Sbs306Eg7nnz3uq .error-text{fill:#552222;stroke:#552222;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-thickness-normal{stroke-width:1px;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-thickness-thick{stroke-width:3.5px;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-pattern-solid{stroke-dasharray:0;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-thickness-invisible{stroke-width:0;fill:none;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-pattern-dashed{stroke-dasharray:3;}#mermaid-svg-0Sbs306Eg7nnz3uq .edge-pattern-dotted{stroke-dasharray:2;}#mermaid-svg-0Sbs306Eg7nnz3uq .marker{fill:#333333;stroke:#333333;}#mermaid-svg-0Sbs306Eg7nnz3uq .marker.cross{stroke:#333333;}#mermaid-svg-0Sbs306Eg7nnz3uq svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;}#mermaid-svg-0Sbs306Eg7nnz3uq p{margin:0;}#mermaid-svg-0Sbs306Eg7nnz3uq .label{font-family:"trebuchet ms",verdana,arial,sans-serif;color:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster-label text{fill:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster-label span{color:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster-label span p{background-color:transparent;}#mermaid-svg-0Sbs306Eg7nnz3uq .label text,#mermaid-svg-0Sbs306Eg7nnz3uq span{fill:#333;color:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq .node rect,#mermaid-svg-0Sbs306Eg7nnz3uq .node circle,#mermaid-svg-0Sbs306Eg7nnz3uq .node ellipse,#mermaid-svg-0Sbs306Eg7nnz3uq .node polygon,#mermaid-svg-0Sbs306Eg7nnz3uq .node path{fill:#ECECFF;stroke:#9370DB;stroke-width:1px;}#mermaid-svg-0Sbs306Eg7nnz3uq .rough-node .label text,#mermaid-svg-0Sbs306Eg7nnz3uq .node .label text,#mermaid-svg-0Sbs306Eg7nnz3uq .image-shape .label,#mermaid-svg-0Sbs306Eg7nnz3uq .icon-shape .label{text-anchor:middle;}#mermaid-svg-0Sbs306Eg7nnz3uq .node .katex path{fill:#000;stroke:#000;stroke-width:1px;}#mermaid-svg-0Sbs306Eg7nnz3uq .rough-node .label,#mermaid-svg-0Sbs306Eg7nnz3uq .node .label,#mermaid-svg-0Sbs306Eg7nnz3uq .image-shape .label,#mermaid-svg-0Sbs306Eg7nnz3uq .icon-shape .label{text-align:center;}#mermaid-svg-0Sbs306Eg7nnz3uq .node.clickable{cursor:pointer;}#mermaid-svg-0Sbs306Eg7nnz3uq .root .anchor path{fill:#333333!important;stroke-width:0;stroke:#333333;}#mermaid-svg-0Sbs306Eg7nnz3uq .arrowheadPath{fill:#333333;}#mermaid-svg-0Sbs306Eg7nnz3uq .edgePath .path{stroke:#333333;stroke-width:2.0px;}#mermaid-svg-0Sbs306Eg7nnz3uq .flowchart-link{stroke:#333333;fill:none;}#mermaid-svg-0Sbs306Eg7nnz3uq .edgeLabel{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-0Sbs306Eg7nnz3uq .edgeLabel p{background-color:rgba(232,232,232, 0.8);}#mermaid-svg-0Sbs306Eg7nnz3uq .edgeLabel rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-0Sbs306Eg7nnz3uq .labelBkg{background-color:rgba(232, 232, 232, 0.5);}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster rect{fill:#ffffde;stroke:#aaaa33;stroke-width:1px;}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster text{fill:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq .cluster span{color:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq div.mermaidTooltip{position:absolute;text-align:center;max-width:200px;padding:2px;font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:12px;background:hsl(80, 100%, 96.2745098039%);border:1px solid #aaaa33;border-radius:2px;pointer-events:none;z-index:100;}#mermaid-svg-0Sbs306Eg7nnz3uq .flowchartTitleText{text-anchor:middle;font-size:18px;fill:#333;}#mermaid-svg-0Sbs306Eg7nnz3uq rect.text{fill:none;stroke-width:0;}#mermaid-svg-0Sbs306Eg7nnz3uq .icon-shape,#mermaid-svg-0Sbs306Eg7nnz3uq .image-shape{background-color:rgba(232,232,232, 0.8);text-align:center;}#mermaid-svg-0Sbs306Eg7nnz3uq .icon-shape p,#mermaid-svg-0Sbs306Eg7nnz3uq .image-shape p{background-color:rgba(232,232,232, 0.8);padding:2px;}#mermaid-svg-0Sbs306Eg7nnz3uq .icon-shape .label rect,#mermaid-svg-0Sbs306Eg7nnz3uq .image-shape .label rect{opacity:0.5;background-color:rgba(232,232,232, 0.8);fill:rgba(232,232,232, 0.8);}#mermaid-svg-0Sbs306Eg7nnz3uq .label-icon{display:inline-block;height:1em;overflow:visible;vertical-align:-0.125em;}#mermaid-svg-0Sbs306Eg7nnz3uq .node .label-icon path{fill:currentColor;stroke:revert;stroke-width:revert;}#mermaid-svg-0Sbs306Eg7nnz3uq :root{--mermaid-font-family:"trebuchet ms",verdana,arial,sans-serif;} Round 1

Map: 分区 + 初始 Poisson 采样 F⁰

Reduce: 算各分区内 e 到 F⁰ 的部分距离和 W_{i,ℓ}
Round 2

Map: 广播 W_{i,ℓ} 到所有分区

Reduce: 汇总得 W_Cj(e), 算采样概率 p(e)
Round 3

Map: 按 p(e) 做最终 Poisson 采样 F_Cj

Reduce: 算每个 e 的 ŝ(e)

全局估计（s^2\widehat s_2s 2 与 sˉ\bar ssˉ）只需在上面基础上加一轮聚合，共 4 轮 ；gl-s 则是 O(1)O(1)O(1) 轮。

5.2 内存界与主定理

由 Lemma 3，以概率 ≥1−2δ/5\ge1-2\delta/5≥1−2δ/5，任意 map/reduce 实例的本地内存：

ML=O ⁣(nw+w+kε−2ln⁡nkδ)=O ⁣(nw+kε−2ln⁡nkδ) M_L=O\!\left(\frac{n}{w}+w+k\varepsilon^{-2}\ln\frac{nk}{\delta}\right)=O\!\left(\frac{n}{w}+k\varepsilon^{-2}\ln\frac{nk}{\delta}\right) ML=O(wn+w+kε−2lnδnk)=O(wn+kε−2lnδnk)

聚合内存 MA=O(wML)M_A=O(wM_L)MA=O(wML)（线性）。

定理 5 ：对固定 ε,δ\varepsilon,\deltaε,δ，w=Θ(nα) (α≤1/2)w=\Theta(n^\alpha)\,(\alpha\le1/2)w=Θ(nα)(α≤1/2)，k=O ⁣(n1−α/log⁡2n)k=O\!\left(n^{1-\alpha}/\log^2 n\right)k=O(n1−α/log2n)，本文分布式算法（局部 + 所有全局估计器）需常数轮数 、亚线性本地内存 ML=Θ(n1−α)M_L=\Theta(n^{1-\alpha})ML=Θ(n1−α) 、线性聚合内存 ，概率 ≥1−2δ/5\ge1-2\delta/5≥1−2δ/5。

平移到 MPC ：MapReduce 用动态并行度，MPC 用固定 ppp 台机器。作者指出本文算法在每轮都固定切成 www 份、只做（局部计算 / 广播 / www 路求和）三种操作，不依赖动态并行，故令 p=w, s=MLp=w,\;s=M_Lp=w,s=ML 即可平移；又因 ML=Ω(n1/2)M_L=\Omega(n^{1/2})ML=Ω(n1/2)，所有广播/聚合能用标准 MPC 技术在常数轮完成。

六、实验：数据说话

6.1 数据集与设置（复现 Table 2）

数据集	nnn	维度 zzz	精确可算?	规模
Breast (BR)	568	30	✓	S
Wine (WI)	6.5K	11	✓	S
Credit (CR)	30K	23	✓	M
Shuttle (SHU)	58K	9	✓	M
IoT (IOT)	123K	78	✓	M
BioKDD	146K	74	✓	L
RNA-seq (RNA)	489K	8	✗	L
Metro (MT)	1.5M	7	✗	L
PowerHouse (PH)	2.1M	7	✗	L
Gowalla (GOW)	6.4M	2	✗	L

距离函数覆盖欧氏、余弦、曼哈顿、Canberra；k∈{2,5,10,15,20}k\in\{2,5,10,15,20\}k∈{2,5,10,15,20}；kkk-means 用 scikit-learn，kkk-medoids 用 Schubert & Lenssen 的 Rust 实现。大数据集精确值无法在 1 小时内算出 ，故用高采样量（t=800t=800t=800）的多次运行均值作代理真值。

6.2 全局估计：谁赢了？

中等数据集（Figure 3）关键结论：

FS 几乎和精确算法一样慢 （唯一超过 3× 加速的是 CR + Canberra + k=10k=10k=10）。原因：小 kkk 时某些簇近乎线性大小，FS 算精确 a(e)a(e)a(e) 就要二次距离计算。它常有最小误差，但慢到没有实用价值。
SIMPL 最快，但误差最大且不可控 ：SHU + kkk-medoids + 欧氏，真值 s(C)=0.24s(\mathcal{C})=0.24s(C)=0.24，SIMPL 误差 0.2（相对误差 >80%）；CR + Canberra + k=10k=10k=10，相对误差 >105%。基本不能用于严肃分析。
随机方法里 gl-s 常有最佳精度-效率权衡 ；gl-pps-f 比 gl-uni-f 更准 （代价是更慢，因 Phase 1 有开销）；gl-pps-s / gl-uni-s 用小样本保持精度。

大数据集（Figure 4）关键结论：

所有方法随 ttt 增大精度提升（GOW, k=5k=5k=5：t=128t=128t=128 误差不到 t=32t=32t=32 的一半）。
gl-s 精度最高方差最小；gl-pps-f 比 gl-uni-f 更准方差更小。
gl-pps-s / gl-uni-s 用 m=n/20m=n/20m=n/20 就能保住精度，且比全量方法快 10×。
压轴数据 ：GOW（>640 万点），gl-pps-f 或 gl-pps-s（m=n/10,t=128m=n/10,t=128m=n/10,t=128）在 5 分钟 / 1 分钟内 输出所有 k∈{2,5,10,20}k\in\{2,5,10,20\}k∈{2,5,10,20} 的准确估计------精确算法在此完全不可行。

6.3 局部估计：pps 的碾压

局部估计是极难的任务（要 nnn 个点同时准）。作者用两个视角评估：

按轮廓值分桶（Figure 5） ：把 s(e)s(e)s(e) 分进 40 个桶，看每桶的最大误差 ηˉBi\bar\eta_{B_i}ηˉBi（很严苛的指标，最大误差可达 2）。结论：pps 在几乎所有桶上误差和方差都显著小于 uni（IOT+Canberra+k=5k=5k=5：pps 最大误差是 uni 的一半）。且从未观察到 pps 明显差于 uni 的情形。
按簇分（Figure 6） ：MT+k=2k=2k=2，pps 的 Cluster 1 平均/最大误差为 0.12/0.21，uni 为 0.17/0.28。GOW+k=10k=10k=10，除 cluster-7 外 pps 全面占优。

一个有意思的观察：s(e)s(e)s(e) 越接近 1 的桶误差越小 ------因为此时 b(e)−a(e)b(e)-a(e)b(e)−a(e) 差距大，即便 WWW 估得糙，s(e)s(e)s(e) 也稳；而 s(e)≈0s(e)\approx0s(e)≈0 附近误差最大（比值对扰动最敏感）。

6.4 分布式加速（Figure 7）

k∈{2,5,10,15,20}k\in\{2,5,10,15,20\}k∈{2,5,10,15,20}、t∈{512,1024}t\in\{512,1024\}t∈{512,1024}、线程 {2,4,8,16}\{2,4,8,16\}{2,4,8,16}：

8 线程内近线性加速 （k=2k=2k=2 除外，因并行度不足以摊薄同步开销）。
k,tk,tk,t 越大加速越显著（并行化按簇切分）。MT+t=1024t=1024t=1024：16 线程时 k=20k=20k=20 加速约 14×。
PH + k≥5k\ge5k≥5 + t=1024t=1024t=1024 + 16 线程：加速 ≥\ge≥ 10× ，且在 30 秒内算完（精确算法数小时都算不完）。

6.5 应用（Figure 8/9）

轮廓图重建：BR 数据上，silh-pps-all 重建的 silhouette plot 与精确图高度吻合，而 uni 明显偏离（尤其 Cluster 2）。
选最优 kkk ：定义"累积准确率"（approximate 方法选出的最优 kkk 落在真值 top-ℓ\ellℓ 的比例）。gl-pps-s 显著优于 gl-uni-s：CR 上 >97% 的运行命中 top-3，WI 上命中 top-2；gl-uni-s 分别 <95%、<92%。

七、几句锐评

这是一篇"补空白"性质的扎实工作，技术含金量集中在证明而非算法本身，价值判断需要分开看。

① 真正的贡献是"严格化"，不是"发明"。 pps 采样是 Chechik et al. 2015 的现成工具，逆概率加权是 Horvitz-Thompson 的六十年老手艺。本文的原创性在于：(a) 把这套工具首次系统地用于聚类评估 （而非距离查询/中心度）；(b) 修复了 Chechik et al. 证明里的漏洞 （作者措辞是"poorly sketched argument"，这是很客气的学术表达，实质是原证明不严谨）；© 给出局部估计的 uniform 保证 + 均匀采样必败的反例。对做理论的人，(b)© 才是干货；对做工程的人，这篇的最大价值是那张"三估计器对照表"------直接照着选就行。

② 反例（定理 2）是全文最漂亮的部分，但也暴露了一个诚实的边界。 那个"魔鬼数据集"证明了均匀采样会系统性失败------但请注意，它依赖极端的离群结构 （一个点被甩到 R1≥L′(R2+1)R_1\ge L'(R_2+1)R1≥L′(R2+1) 的地方）。现实数据里这种病态到底多普遍？论文没有量化。实验中 pps 确实普遍优于 uni，但优势幅度往往是"方差更小"而非"数量级差异" （Figure 5/6 里 pps 常是 uni 误差的 0.5~0.8 倍，而非 0.01 倍）。换句话说：理论上均匀采样会灾难性失败，但实践中大多数数据集没那么刁钻，uni 也能凑合。 pps 的真正卖点是给你一个不会翻车的保证，而不是"每次都好一个数量级"。这个 gap 值得使用者心里有数。

③ gl-s 的"逆袭"值得所有人警醒。 全文最讽刺的实验结论是：最朴素的 gl-s（采点算精确值取平均）在全局估计上常常打赢精心设计的 pps 方法。 这不是 bug，是深刻的提醒------全局标量估计是个"简单问题"，方差集中效应太强，不需要 pps 这种重武器。 pps 的用武之地是局部估计 （要每个点都准）和超大数据 + 只要标量 （gl-pps-s 把 nknknk 降到 nnn）。如果你只是想在 10 万点上估个全局 s(C)s(\mathcal{C})s(C)，直接 gl-s，别想太多。这也侧面说明：论文标题里的"local silhouette 同时估计"才是真正的技术护城河，全局部分更像是顺手的推论。

④ 4ε1−ε\frac{4\varepsilon}{1-\varepsilon}1−ε4ε 这个界在实践中形同虚设，但方向是对的。 当 ε=0.5\varepsilon=0.5ε=0.5，界是 444------比满量程 2 还大，理论上毫无意义。但实验里 ε\varepsilonε（对应 ttt）取得很激进（t=16∼128t=16\sim128t=16∼128）时估计仍然很准。这说明最坏界严重高估了实际误差 ，s(e)+1s(e)+1s(e)+1 项在多数点上远小于 2。这是好事也是隐患 ：好在实践稳健，隐患在于------如果有人真的想用这个界来设定 ttt（反解 ε\varepsilonε），会得到荒谬地大的 ttt。作者聪明地在实验里直接设 ttt 而非从 ε\varepsilonε 反推，某种程度上承认了这个界的实用性局限。

⑤ 工程实现的现实感很强，但"分布式"名不副实。 论文标题写着 "Distributed"，Theorem 5 也证了 MapReduce/MPC 的常数轮界------但实验全是单机多线程（OpenMP） ，没有真正的多机分布式实验。这是理论论文的常见做法（证明 + 单机模拟），无可厚非，但读者要清楚：它证明了"可以分布式"，没有验证"分布式跑起来什么样"（网络通信、数据倾斜、落后者问题都没测）。对想直接上生产的人，这中间还有工程距离。

⑥ 一个被低估的彩蛋------附录 B 的推广。 作者在附录里顺手指出：同一套 WCj(e)W_{C_j}(e)WCj(e) 估计框架可以直接推广到 cohesion / separation 等其他内部度量 （Theorem 8）。这其实暗示了本文方法的真正边界：只要一个聚类评估指标能写成"簇内/簇间距离和"的形式，这套 pps 采样就能套用。 这个观察比论文正文的具体算法更有长远价值------它把"轮廓系数近似"提升成了"一类基于距离和的评估指标的统一近似框架"。可惜作者把它藏在附录，没充分展开。

一句话总评 ：该收藏。 如果你要在大数据上算轮廓系数，这是目前唯一带保证的选择；但请根据你的实际需求（要局部还是全局？数据多大？）从三个估计器里挑对工具，别被"pps 更高级"的印象误导------很多时候最笨的 gl-s 就够了。理论上，定理 2 的反例和 Lemma 2 的误差传播推导是可以进教材的范例。

八、给不同读者的行动建议

你是谁	该怎么用这篇工作
只想在大数据上估全局 s(C)s(\mathcal{C})s(C)	中等数据用 gl-s ；超大数据（百万级）用 gl-pps-s （m=n/10,t=128m=n/10,t=128m=n/10,t=128），几分钟出所有 kkk 的结果
要画 silhouette plot / 要每个点的 s(e)s(e)s(e)	只能用 silh-pps-all（局部估计），这是本文不可替代的部分
用轮廓系数选 kkk	用 gl-pps-s ，实验证明它选 kkk 的准确率显著高于均匀采样版本
做理论 / 写近似算法	精读 Lemma 2 （误差传播）和定理 2 的反例（pps 必要性），这两块是方法论范本
想推广到别的评估指标	看附录 B （cohesion/separation），把你的指标改写成 WCj(e)W_{C_j}(e)WCj(e) 的形式即可套用