推理模型上线之后,账单很快会从输入侧挪到输出侧。一条一万多 token 的思考链,每生成一个 token 都要把前面所有层的 KV 重新读一遍,显存和带宽都按这个长度线性涨。所以业界几乎默认了一个动作:给 KV 缓存设一个 token 预算,超出就按注意力分数砍掉尾巴。
这个动作在长思考链上有一种很别扭的失效方式。思考链里确实堆着大量冗余 token------循环、自我验证、算错了再改、把同一句话说三遍------但它们恰恰因为与关键推理步在时间上挨得近、语义上说得像,注意力分数天然就高。按分数留,留下的往往是这些;按分数砍,砍掉的常常是几步中间推导。
这篇论文(RoCoKV)把问题拆成两半,各配一个信号:模型此刻有多确定,以及这个 token 和最近的推理内容有多像。前者决定这一步留多少,后者决定留哪些。作者还把这两个信号做进一条三阶段的 CUDA decode 流水线,以 drop-in 插件的形式接进 vLLM,同时保住了 paged KV 布局与 CUDA graph capture。我认为这正是它区别于大多数 KV 压缩论文的地方:它交出来的不是算法层面的百分点,而是端到端的 1.27 倍。
问题设定:成本落在生成出来的思考链上
先区分两类位置。非推理任务里,一个 token 重不重要基本由输入决定,位置稳定、可以一次性估出来;推理任务的答案是解码过程中长出来的,哪一步重要取决于模型前面走了哪条路,重要性会随步漂移。所以 KV 压缩在推理模型上不只是省显存,它还必须保住推理轨迹的结构与连续性。
已有工作大致两类。永久驱逐这一类按重要性把 token 从缓存里删掉,存储与带宽一起省,但删掉就回不来,准确率损失明显;query-aware 选择这一类按当前 query 挑重要的 KV、更仔细地近似注意力,准确率好看,可总存储不降。RocketKV 把两者接起来:prefill 之后先粗粒度删一轮,decode 阶段再把 key 分组到页、用每页 key 的最大最小值近似该页的最大注意力,只对排名靠前的页取原始向量做精确注意力。RoCoKV 就是在这个骨架上加信号的。
针对推理模型本身也已经有几条线:R-KV 瞄准长解码阶段的冗余,用注意力重要性与 key 向量的冗余度一起打分;RaaS 注意到思考链里有里程碑式的 token,先用 LRU 式策略留住、再把 prefill token 全保留;SkipKV 在句子粒度上驱逐语义冗余的推理段,并配合激活引导抑制冗余生成。这一串工作的共同判断是,推理链的冗余必须专门处理,不能靠通用的重要性分数糊过去。
但作者点出的第三个问题更现实:算法层面的收益不一定能在生产引擎里兑现。他们引的一项分析里,H2O 在张量并行下把 prefill 与 decode 吞吐压到 FP16 基线的 0.58 倍与 0.69 倍------打分、驱逐、内存管理这些额外开销,足以把省下来的东西吃干净。这篇论文因此把系统侧当成一等公民,先做算子,再讲算法。

图 1|把解码步按不确定性分成十档:近似选择保留的注意力质量停在六成左右,与精确 top-k 的 key 重叠率停在两成左右,误差幅度几乎不随不确定性变化。
观察一的一半:近似选 token,误差到底有多大
作者的第一个实验很朴素:在 R1-Llama-8B 上跑 AIME25,KV 预算压到 128 个 token,采样温度 0.6,用下一 token 分布的归一化熵当不确定性,把解码步按不确定性分成十档。然后逐步逐层地比,RocketKV 用页级最大最小值近似选出来的那些 key,与精确 top-k 选出来的差多少。
先说清这套近似是怎么来的,才知道误差从哪出。它有两处近似叠在一起:一处把 key 按页分组,用每页 key 在各头维度上的最大值与最小值来估这一页能拿到的最大注意力,于是页内哪个 token 更重要就被抹平了;另一处只保留 query 里最重要的若干个维度去算这个上界,剩下的维度直接丢掉。两处叠加,选出来的 key 集合必然与精确 top-k 不同。
作者的口径很细:对每个解码步、每一层,把近似选出的 key 集合与精确 top-k 的集合逐个比对,注意力质量按 softmax 权重累加。两个指标分别是,被选中的 key 里保留了多少精确选择本会拿到的注意力质量,以及两边 key 集合的重叠率。结果是保留约六成的注意力质量(58.87% 到 62.39%),key 重叠只有约两成(18.13% 到 20.38%)。
如果只看这两个数,结论会很悲观:近似选择丢了四成注意力质量,八成 key 选歪了。但这些误差在各不确定性档上几乎是水平的(图 1)。也就是说,误差的大小与模型此刻有多确定无关------你没法指望"模型越不确定、近似就越不准"这种朴素直觉来解释后面发生的事。
我认为这一步的分析设计得挺讲究:它先把误差有多大量化清楚,再去做误差有没有害的实验。很多压缩论文直接跳到准确率曲线,中间这一层是空的。

图 2|同一份 KV 缓存只把近似选择换成精确 top-k:下一 token 分布的总变差从最确定档的 0.06 升到最不确定档的 0.47,被改掉的 token 比例从 1.4% 升到 65%。
观察一的另一半:错多少不重要,什么时候错才重要
第二步要把选择的误差与对输出的影响分开。做法是在同一个解码步、同一份 KV 缓存上多跑一次前向,唯一区别是把近似选择换成精确 top-k,然后比较两次得到的下一 token 分布:总变差距离量两个分布差多远,翻转率量最可能的那个 token 有没有被换掉。
结果的分化非常干净:在最确定的步上总变差是 0.06,在最不确定的步上是 0.47,约 8 倍;翻转率从 1.4% 涨到 65%(图 2)。30 道 AIME25 题目上,不确定性越高、总变差越大的秩相关是 0.65;把解码步按它在答案里的相对位置再分十箱,相关系数 0.646,说明这不是越到后面越乱的位置效应。
机制解释我很认同:确定的时候分布集中在少数几个 token 上,近似与否改不动它们;不确定的时候几个候选概率接近,同一个误差就能把选择换掉,而换掉的那个 token 又会把后面的整条推理带偏。
指标的选择本身也有讲究。总变差距离有界、可以直接读成两个分布的重叠缺口,不需要对概率取对数,所以它在分布接近均匀时也不会被放大;相关性用 Spearman 而不是 Pearson,是因为作者要证明的是不确定性与影响之间的一般单调关系,而不是一条直线。这个选择让结论更保守,也更难被反驳。
最能说明问题的一行数字是:同样预算下把近似选择换成精确 top-k,AIME25 准确率从 0% 到 16.67%。这等于说,在这个预算档位下模型能不能答对,几乎全看 token 选得准不准。
于是第一个信号有了依据:误差的幅度是常数,误差的代价随不确定性放大,那就按不确定性分配预算------不确定时多留,确定时狠剪。而且不确定性可以直接用上一步的输出分布算出来,不需要额外一次前向。

图 3|AIME25 上的生成长度分布:左图是全部答案,右图把答对与答错分开看,多数答案很短就结束,而尾巴拖长的那部分里答错的占比明显更高。
观察二:生成得更长,更可能是错答案
第二个观察回答哪些 token 可以砍。作者在 GSM8K(最多生成 8192 个 token)和 AIME25(最多 16384 个)上统计生成长度,模型仍是 R1-Llama-8B。多数答案很短就结束,少数一路拖到很长,而拖长的那部分里错答案占比明显更高(图 3)。
更干净的证据是尾概率:生成长度超过上限的 25%、50%、75%、100% 这条阈值的概率。之所以用上限的百分比而不是绝对长度当阈值,是为了让两个生成上限不同的数据集能放在一起比。正确答案的尾概率随阈值快速掉下去,错误答案的尾概率一直维持在高位;GSM8K 上这个分化同样存在,只是长度尺度整体更短。作者的解读是,拖长往往意味着重复推理,而不是更深的思考。
这个观察在工程上还有一层含义:它要求冗余识别本身足够便宜。如果为了找出冗余 token 而多扫几遍缓存,省下来的带宽就会被识别成本吃掉------那正是上一节说的算法收益不落地的另一种形态。所以冗余打分必须能和近似打分融合在同一遍扫描里,目标是以足够高的精度挑出冗余 token,同时不牺牲推理效率,这一点后面在 kernel 设计上兑现了。

图 4|稀疏注意力流水线:先用页面级最大最小值近似每页的注意力分数,再用一段最近上下文的质心算出冗余惩罚乘上去,然后做 top-k 选择,最后只对选中的 token 做精确注意力。
关键设计:两个信号,落到每个 decode step
第一个信号是不确定性。取上一步采样分布的熵,除以词表大小的对数做归一化,再取 γ 次幂(γ 取 0.1)压一下动态范围,就得到 0 到 1 之间的一个数。为了避免相邻步剧烈抖动,用 β=0.85 的滑动平均把它平滑。再由 τ_low 与 τ_high 两个阈值线性映射成剪枝强度:低于下阈值取 0(狠剪),高于上阈值取 1(放松),中间线性过渡。
这个剪枝强度直接改两个参数:top-k 预算与压缩比,都在硬剪与放松两套配置之间插值。硬剪一侧是基准预算的 0.9 倍、基准压缩比的 1.5 倍,放松一侧是基准预算的 1.3 倍、基准压缩比的 0.9 倍,基准预算在 32 到 256 之间按实验选。写成式子只是一步插值,但它的意义是把压缩强度从部署期的全局超参,变成了部署后逐步生效的控制量。
第二个信号是冗余。取最近 8 个缓存 key,单位化后求一个质心,再让每个缓存 token 与这个质心做一次余弦相似、取零以上的部分。最近的那个 token 被强制置零,保住紧邻的局部上下文。最后把相似度当成惩罚乘到原来的近似分数上,系数 λ 取 0.1。因为原分数非负、括号里的因子落在 0 到 1 之间,这个操作只会降低或保持分数,不会把原本不重要的 token 抬上来。
与 R-KV 的对比是这段最有意思的地方。R-KV 的冗余分要在整个缓存上做两两余弦、再按 softmax 归一化,本质是一次 O(N²) 的成本;RoCoKV 换成一个质心,每个 token 一次余弦,O(N)。它牺牲的是全局最优的冗余判断,换来的是能在流式扫一遍缓存的过程中顺手算完------这一点直接决定了它能不能塞进 decode 的 kernel。
回头看看这两个信号的分工:它们其实对应了压缩预算的两个自由度。不确定性管的是预算的总量,它回答这一步该抠多紧;冗余管的是预算的分配,它回答在给定的量里该留下哪些。前者是随推理轨迹波动的标量,后者是每个 token 上的相对权重,两者不重叠,所以能相乘而不互相抵消。如果只做前者,紧预算下重复内容仍然会占满预算;只做后者,模型在最需要上下文的步上照样被剪秃。
整个方法搭在 RocketKV 的骨架上(图 4),所以严格说它不是从零发明的稀疏注意力,而是给已有的近似选择装上了什么时候多留、留哪些这两个旋钮。
与服务栈协同:三阶段 kernel 与 vLLM 的 drop-in 插件
这一节是我最看重的部分,因为它决定了前面那些百分点能不能变成钱。集成方式是不改 vLLM 源码:通过 platform_plugins 注册一个自定义 attention backend,只接管 decode------对长思考链来说 KV 流量几乎全在 decode 阶段。调度器、分配器、block manager、paged 内存管理、prefix caching 与 CUDA graph capture 全部照旧。
关键取舍在于只做选择、不改写缓存。RoCoKV 只决定每一步读哪些缓存 token,不改变缓存条目的存储方式,也不驱逐任何页,page table 保持完整,kernel 直接用 vLLM 原生的 page table 读 KV。对比之下,把缓存条目替换成压缩表示的那类做法必须在每个注意力步挂一个解压器,还要同步改分配与 prefix caching------那就不是插件了。
三个阶段各管一件事。A 阶段用一条流式 kernel 走一遍 KV 缓存:为每个缓存 token 读 key 向量、算出与最近上下文质心的余弦、同时算近似 logits;紧接着一个小 reduce kernel 把页级 logits 变成近似 softmax 分数、在 GQA 组内跨头聚合、乘上冗余惩罚,一次写完,冗余项直接复用 A 阶段已经写下的余弦值,不再多读一遍 KV。B 阶段做 top-k:一个线程块负责一个请求与一个 KV 头的组合,每个线程在寄存器里维护四个候选,最后做一次块内基数排序;它只读 A 阶段写下的单精度分数行,完全不碰 KV,结果是近似 top-k,只有当精确 top-k 里有超过四个落在同一线程的切片时才会漏掉。C 阶段只对被选中的那些 token 做精确注意力,用在线 softmax 分块流式累加,128 位向量化加载,最后一块单独剥出来处理边界,并用异步拷贝双缓冲把下一块的加载压在计算下面。
两个系统细节值得单独说。第一是内存布局:vLLM 默认布局里 head_dim 是最内层的连续维,按 query 维度稀疏加载会触发整段取回,稀疏性带来的带宽节省就没了;作者改用转置布局,把每页 token 数放到最内层,代价是 C 阶段取数要按 token 位置重排才能合并访存,实测长序列上转置布局更划算。第二是无同步:每请求的自适应预算作为一个 32 位整数设备张量传进 kernel,CPU 在解码全程不回读任何张量值,所以整条三阶段流水线连同每请求预算能完整落进一次 CUDA graph。
还有沿序列切分。decode 每步每请求只有一个 query token,天然的并行轴只有批与头,批小的时候设备大半闲着。作者把一个请求的缓存沿序列切成若干段、每段一个线程块算部分结果、再用一个轻量归约合并,于是有了第三根轴。分块是贪心的:先给每个请求一份,剩下的每次给当前待处理任务最多的那个请求,三轮下来上限逐步放宽,先只切出至少有四个分块工作量的份,再放宽到一个分块,最后补空分割占位,每步在 CPU 上只花几微秒,且每步算一次、所有层共用。

图 5|AIME25 上把平均 token 预算从 83 一档档放大到六百多:横轴是预算,纵轴是准确率,每条曲线是一种压缩方法,同一档预算上 RoCoKV 在压缩方法里始终最高。
实验与数字:紧预算下的准确率与 A40 上的端到端
实验用两个推理模型(R1-Distill-Llama-8B 与 R1-Distill-Qwen-7B,都是分组查询注意力),三个数学推理基准(GSM8K、MATH500、AIME25),每个数据集若干档 KV 预算。准确率是 pass@1,AIME25 每题采 8 次、MATH500 与 GSM8K 各 1 次,温度 0.6、top-p 0.95。有个细节值得学:他们先算出 RoCoKV 实际用掉的平均 top-k,再让所有基线用同一个 top-k 跑,这样比较的是同一预算下的选择质量,而不是预算大小的差异。
准确率上的结论是紧预算时优势最大。MATH500 在平均预算 74(R1-Llama-8B)与 83(R1-Qwen-7B)上比 RocketKV 高 46% 与 65% 以上;AIME25 在平均预算 328 与 325 上做到 20.83% 与 25.83%,预算放大后到 23.75% 与 35.00%,与全 KV 的差距收窄到 7.5 与 5.0 个百分点(图 5)。与 SkipKV 的对比更极端:MATH500、R1-Qwen-7B、预算 83 时,从 15.20% 提到 67.20%。
数据集之间的差别也有信息量。GSM8K 上最值得看的是最小那一档预算:部分竞争方法在同一档掉得很厉害,而 RoCoKV 还能维持较高的准确率。MATH500 需要更长的推理链,优势在这里被放大,而且到了更大的预算档位,它依然是最接近全 KV 的那条曲线。作者自己的解释是把不确定性引导的剪枝与冗余感知的选择合起来,让预算的分配更贴合推理轨迹,所以在数据集、模型、预算三段区间上都稳。
基线方面有个细节值得记一笔:RocketKV、R-KV、RaaS 与 SkipKV 都是作者在自己的代码库里重新实现的,理由是要让预算口径可比。这在压缩类论文里并不常见,因为直接套用别家开源实现时,连 top-k 到底算不算观测窗口、预算按什么统计,双方常常对不上。
端到端数据在 A40 上,R1-Llama-8B、KV 预算 512,AIME25 批量 16、合成长序列批量 6。这里的合成长序列基准是让模型持续生成到指定长度,用来在更长上下文上量吞吐。
| 方法 | 场景 | 时延 | 吞吐 |
|---|---|---|---|
| 全 KV | AIME25 | 196.2 s(1.00×) | 247.3 tok/s(1.00×) |
| R-KV | AIME25 | 208.7 s(0.94×) | 276.9 tok/s(1.12×) |
| RoCoKV | AIME25 | 154.5 s(1.27×) | 341.3 tok/s(1.38×) |
| 全 KV | 合成长序列 | 864.9 s(1.00×) | 115.0 tok/s(1.00×) |
| RoCoKV | 合成长序列 | 604.8 s(1.43×) | 166.7 tok/s(1.45×) |
消融是理解这套方法的一条捷径,预算 128 下 pass@1 的对照是这样的。
| 配置 | AIME25 · Llama | AIME25 · Qwen | MATH500 · Qwen |
|---|---|---|---|
| RoCoKV 完整 | 14.58 | 18.75 | 80.00 |
| 只留不确定性 | 10.00 | 11.25 | 78.40 |
| 只留冗余 | 0.00 | 0.00 | 9.20 |
| 反转剪枝方向 | 1.25 | 0.00 | 5.80 |
有两点我特别注意。一是只留冗余项时 AIME25 直接掉到 0%,说明冗余惩罚单独用不管用;二是把剪枝方向反过来(不确定时反而狠剪)时几乎全线崩塌,MATH500 的 R1-Qwen-7B 从 80.00% 掉到 5.80%------方向是对的,而且不是可有可无的调参。
一句实话:AIME25 上二三十的绝对准确率不高。这是 128 到 600 多个 token 的紧预算区间,作者比的是同样抠门时谁更不掉分,不是压缩之后接近全 KV。把它当成能力声明会误读。
我认为最有价值的发现
第一,也是最根本的一条:把压缩强度从一个全局超参改成逐步的控制量,而控制信号是免费的。不确定性来自上一步的输出分布,那个分布本来就要算,不需要额外一次前向,也不需要外挂小模型。这一点让它能塞进 decode 的热路径里,而热路径里的每一纳秒都要还债。
第二是评价指标的选择。近似选择丢了四成注意力质量、八成 key 选错,听起来很糟,但在确定的步上它完全无害;真正与准确率挂钩的是分布被改动的程度与最高 token 被换掉的比例。把这两个量与不确定性画在一起,才看出那 8 倍的放大。我认为这个换指标的动作,比后面任何一条公式都更决定成败。
第三是算法与系统的耦合关系。效率表里 R-KV 那一行,时延 0.94 倍,也就是比全 KV 还慢,是整个领域最诚实的一个数字:算法上更省带宽,端到端却倒退。RoCoKV 的价值不止在 1.27 与 1.43,而在于它示范了一条具体的路------不驱逐页、不改 page table、不打断 CUDA graph,把稀疏选择的收益落到真实吞吐上。
第四是对冗余项的正确期待。它在 AIME25 上单独使用是 0%,配合不确定性才到 14.58%。我倾向把它理解成预算放大器:当不确定性给出更多预算时,冗余惩罚保证这些预算不被重复内容吃掉。这个分工也解释了为什么两者的消融数字差这么多。
还有一点是我的理解,不一定与作者完全一致:用不确定性当控制器,比用生成长度或解码位置这类代理信号更靠得住。长度和位置是外部启发式,一旦换了截断策略或改了批内拼接方式就会漂;而下一步的分布是模型内部状态的直接读数,它衡量的是模型自己此刻有多纠结。这也解释了为什么它不需要额外的预测器,就能跟着推理轨迹自己收紧或放松。
适用边界
它是给推理型长思维链模型用的。预算放得很宽时收益会递减:准确率本来就往全 KV 靠,而加速来自 decode 阶段的 KV 流量。作者在合成长序列上拿到 1.43 倍、在 AIME25 上是 1.27 倍,长序列更好,这与面向长解码的定位一致。
方法搭在 RocketKV 上,因此继承了它的页级最大最小值近似,也继承了它的适用前提。系统侧是 vLLM 的特定插件机制与特定 attention backend;转置布局只改了自己的 kernel,把支持扩到其他推理框架被作者列为未来工作。硬件只有 A40,作者也明说 Hopper 的张量内存加速器可以取代手写向量化加载。
超参方面我有一点保留。论文的做法是在下阈值 0 到 0.2、上阈值 0.5 到 0.8 这两个区间里为每个模型与数据集挑一组,也就是说它并非一套阈值打天下。作者称方法对超参不敏感:GSM8K 上把冗余窗口从 4 调到 15,两个模型都差不到 1 个百分点,这点我信;但在 AIME25 上,惩罚系数从 0.1 改成 0.01 或 0.2,准确率从 14.58% 掉到 9.17%,阈值扫描同样在 6.67% 到 14.58% 之间摆。所以不需要精调这句话在 GSM8K 上成立,在最难的 AIME25 上余量并不宽松。
还有两处论文没有给出的量,读的时候要自己留白。效率实验只测了较小的 R1-Llama-8B,R1-Qwen-7B 的端到端时延与吞吐论文未给出;全 KV 基线在各档预算上的绝对准确率只画进图里,正文没有逐档列表,所以本文引用的是相对幅度与最终差距,没有做二次推算。
作者自陈的局限照原样记下:kernel 调优与调度策略还有空间;仍依赖少量超参,包括不确定性阈值与冗余系数;扩到其他推理框架留给未来。另外两个附录很值得看:层间预算分配按检索头的重要性给每层不同预算,在准确率上更好,R1-Qwen-7B 的 GSM8K 上 85.75% 甚至超过全 KV 的 85.22%,但在 vLLM 里带来了吞吐下降,因此被留到未来;句级剪枝则全面不如 token 级,GSM8K 78.09% 对 80.59%、AIME25 3.33% 对 6.67%,还要在解码循环里挂一个句向量模型。
我读完之后的几点提炼
第一,压缩的力度本身就是一个应该被调度的对象。以往我们把它当成部署期超参,选一个在验证集上不掉分的值;这篇论文把它变成每步一个值,由模型自己的分布驱动。这个思路可以搬:任何资源受限的近似,稀疏注意力、量化、投机解码的草稿长度,都能找一个模型自己已经算出来的信号当控制器。
第二,评估近似算法要报两个量:误差有多大,以及误差什么时候有害。只报前者会得出误差均匀所以可以均匀处理的结论,而事实是同一个误差在不同步上的代价差一个数量级。
第三,端到端数字必须在真实引擎里测,而且要包含一次负结果的对照。0.94 倍不是笑话,它提醒我们打分成本、驱逐成本、图被打断的成本都是真实存在的;一个压缩方案如果不能在保 paged 布局与 CUDA graph 的前提下落地,算法上的收益很容易归零。
第四,别怕给方法加不独立有效的组件,但要写清它的角色。冗余项单独用是 0%、配合起来是增益,这种预算放大器的定位只要说清楚,比硬包装成独立贡献更有用。
第五,复现成本要提前算。论文只写了录用后放出源码,当前拿不到实现,而它的精度又建立在 RocketKV 之上,等于复现的第一步是先把那个两阶段的稀疏注意力搭对。对想验证这套信号的人来说,这是比超参更实际的门槛。
最后一条是我自己的判断:这条路线真正的天花板在层与头之间。RoCoKV 目前是每步调预算,而附录里层间预算的实验已经显示准确率还能再涨;把什么时候留多少和哪一层留多少合成一个二维控制问题,是这篇论文最自然的下一个版本。
结语
这篇论文做的事情用一句话讲:它注意到剪 KV 的误差有一个与模型不确定性绑定的放大系数,于是把预算的分配权交回给模型自己,再把这件事做进 vLLM 的 decode 热路径,让它变成 1.27 倍与 1.43 倍。
我最认可的是它的分寸感:算法上只加了两个可以一句话说清的信号,系统上只做了一个不改源码的插件,评估上既给了准确率曲线也给了端到端时延,还留了一条 0.94 倍的反例在表里。对正在做推理服务的人来说,这是一份可以直接照着搭的实现参考;对做 KV 压缩的研究者来说,它把误差影响这个指标摆到了台面上。