LLM推理中的KV缓存与跨请求前缀复用：机制、条件与提示词

摘要

KV缓存是Transformer自回归推理中将解码阶段计算复杂度从平方级降为线性级的标准技术。其跨请求复用------即前缀缓存------依赖于提示词前缀在token块级别的精确匹配，任何动态内容都会破坏可复用的缓存段，触发完整预填充。本文从自注意力的数学定义出发，解析KV缓存原理，严格区分单请求内缓存与跨请求前缀缓存的工程实现差异；以分块匹配和基数树索引为背景，论述"静态前缀最大化、动态内容后置"的提示词架构设计原则。以某任务编排引擎的不可变约束注入为例，展示如何通过静态规则系统提示词后缀实现缓存复用最大化。同时讨论位置编码、GQA、缓存TTL与显存占用等工程权衡。结论是：提示词缓存优化并非应用层技巧，而是需要将不可变规范与动态上下文在序列位置上严格分离的系统级设计决策。

1. 自回归推理的计算冗余与KV缓存

1.1 朴素自回归的平方级复杂度

给定前缀序列 x=(x1,...,xn−1)\mathbf{x} = (x_1, \dots, x_{n-1})x=(x1,...,xn−1)，Transformer 自回归生成下一个 token xnx_nxn 时，每个注意力头执行：

对前缀每个位置 iii 计算 Ki=xiWKK_i = x_i W_KKi=xiWK, Vi=xiWVV_i = x_i W_VVi=xiWV。
计算 Qn=xnWQQ_n = x_n W_QQn=xnWQ，然后计算注意力输出：

Attention(Qn,K,V)=softmax ⁣(QnK⊤dk)V \text{Attention}(Q_n, K, V) = \text{softmax}\!\left(\frac{Q_n K^\top}{\sqrt{d_k}}\right) V Attention(Qn,K,V)=softmax(dk QnK⊤)V

若每一步都重新计算所有前缀 token 的 K,VK, VK,V，生成 NNN 个 token 的总计算量（仅注意力部分）为 Θ(∑t=1Ntd)=Θ(N2d)\Theta(\sum_{t=1}^N t d) = \Theta(N^2 d)Θ(∑t=1Ntd)=Θ(N2d)，其中 ddd 为注意力头维度。若计入投影层和 MLP，前向传播总量级为 O(N2dmodel2)O(N^2 d_{\text{model}}^2)O(N2dmodel2)。

1.2 单请求内KV缓存：解码从平方到线性

因果自注意力的核心性质：KiK_iKi 和 ViV_iVi 仅依赖于 xix_ixi 及其之前的位置编码，不依赖后续 token。因此，在首次处理前缀（prefill 阶段）时将全部 Ki,ViK_i, V_iKi,Vi 存入显存，后续解码阶段每步仅需计算新 token 的 Q,K,VQ, K, VQ,K,V 并追加至缓存，注意力计算变为：

Attention(Qt, $Kcache;Knew$ , $Vcache;Vnew$ ) \text{Attention}(Q_t, $\\mathbf{K}_{\\text{cache}}; \\mathbf{K}_{\\text{new}}$ , $\\mathbf{V}_{\\text{cache}}; \\mathbf{V}_{\\text{new}}$ ) Attention(Qt, $Kcache;Knew$ , $Vcache;Vnew$ )

单步计算量降至 O(td)O(t d)O(td)，解码阶段总注意力计算量 Θ(N2d)\Theta(N^2 d)Θ(N2d) 量级不变，但常数因子大幅下降，且延迟线性增长。缓存占用的显存为 2×L×nlayers×nheads×dhead2 \times L \times n_{\text{layers}} \times n_{\text{heads}} \times d_{\text{head}}2×L×nlayers×nheads×dhead（K 和 V 各一份），采用分组查询注意力（GQA）或多查询注意力（MQA）时，K、V 头数减少，缓存体积成比例缩小，使长上下文缓存更可行。

2. 跨请求前缀缓存：机制与命中条件

上述 KV 缓存系单个请求内 prefill-to-decode 复用，生命周期限于单次推理。跨请求前缀缓存（prefix caching） 则在不同请求间共享相同前缀的 KV 缓存，避免重复 prefill------这是提示词架构设计需关注的缓存类型。两者底层数据结构相同，但管理粒度、匹配机制和生命周期迥异。

2.1 分块匹配与基数树索引

现代推理引擎（如 vLLM、SGLang）不采用整段提示词哈希匹配，而将 token 序列划分为固定大小的块（block，典型 16 或 256 tokens），利用基数树（Radix Tree）或前缀树索引已缓存的 KV 块。新请求到来时：

引擎将提示词 token 化后，在树中逐块查找最长匹配前缀。
匹配到的块直接加载其 KV 缓存，跳过 prefill 计算。
仅不匹配的后缀部分触发新的 prefill，生成新块并插入树中。

这意味着即使两个请求的提示词并非完全相同，只要共享一段连续前缀，该前缀部分的 KV 缓存即可复用。只有差异点所在的块及后续块需要重新计算。但任何动态 token（哪怕单个字符变化）都可能导致所在块完全失效，若动态内容位于提示词最前端，后续所有块均无法匹配。

2.2 位置编码的约束

主流模型（LLaMA、Qwen 等）使用旋转位置编码（RoPE）。RoPE 在计算注意力分数时将位置信息融入 QQQ 和 KKK：

Attention(Qm,Kn)∝(RmQm)⊤(RnKn) \text{Attention}(Q_m, K_n) \propto (R^m Q_m)^\top (R^n K_n) Attention(Qm,Kn)∝(RmQm)⊤(RnKn)

其中 RRR 为旋转矩阵。因此缓存的 KnK_nKn 内嵌了绝对位置 nnn。跨请求复用时，前缀 token 序列及其位置索引均须完全一致，这天然满足------因为前缀序列的起始位置始终固定。这也解释了为何前缀缓存可行，而后缀缓存无法直接拼接到任意前缀之后：不同前缀长度下，相同后缀 token 的绝对位置不同，其 KV 向量即不可复用。

2.3 缓存失效的根本原因

综上，前缀缓存失效的直接诱因并非"提示词有差异"，而是"公共前缀的完整性被破坏"。若动态内容出现在提示词前端（如系统提示词中包含时间戳），则整个前缀序列从第一个动态 token 起全部分块无法匹配，缓存命中率降至零。因此，静态内容必须占据序列的最前端位置，动态内容严格后置，且两者的边界应尽可能对齐到块边界（通常不必手动对齐，但大段静态文本天然覆盖多个完整块）。

3. 提示词架构的缓存优化策略

基于上述机制，提示词设计应遵循"静态前缀最大化、动态内容后置"原则。

3.1 系统提示词的不可变化

系统提示词通常位于整个消息序列最前端，构成最重要的前缀。必须剔除一切动态内容------时间戳、用户名、会话 ID、轮次计数等。如需提供用户特定上下文，应置于 user 消息中。系统提示词保持完全静态，即可在所有请求间共享完整前缀，实现最高缓存命中率。

3.2 动态内容的尾部化

目标描述、当前状态、历史记录等每请求变化的信息，应推至提示词尾部（通常作为 user 或 assistant 消息）。由此，prefill 仅需处理动态后缀，静态前缀的 KV 缓存直接加载。

3.3 多消息结构中的缓存边界

对话式 API 通常将提示词建模为消息数组。不同提供商的缓存实现可能以消息为单位进行索引。将静态指令集中放置在单一 system 消息中，动态内容分散在后续 user 消息中，有助于提供商的多级缓存机制最大化复用。

4. 工程实例：不可变约束注入的缓存优化

以某 LLM 任务编排引擎为例。其核心约束是一段约 2000 token 的完全静态文本（"宪法序言"），包含工作流、代码质量标准、并发定律和硬性关卡。该文本不含任何动态值。

4.1 注入位置

引擎通过 system.transform 钩子将此静态文本附加到系统提示词数组的末尾，与用户原有的静态系统提示词拼接，形成更长的静态前缀。所有动态任务信息（目标描述、轮次计数、token 预算、审计证据）均以 user 消息发送，位于该静态前缀之后。

4.2 缓存行为

在逐轮自动继续的会话中：

整个 system 消息数组（用户系统提示词 + 宪法序言）在所有轮次间完全不变，构成稳定的静态前缀，覆盖多个完整缓存块。
引擎的基数树索引中，该前缀被持久缓存（TTL 允许内）。
每轮请求仅需对尾部 user 消息部分进行 prefill，其长度远小于静态前缀。
压缩场景因低频而缓存命中率低，但对常规高频轮次影响甚微。

4.3 效果与边界

此设计将常规请求的 prefill 计算量从 O(Lstatic+Ldynamic)O(L_{\text{static}} + L_{\text{dynamic}})O(Lstatic+Ldynamic) 降至 O(Ldynamic)O(L_{\text{dynamic}})O(Ldynamic)，直接削减延迟和计算成本。但必须声明：这仅优化推理效率，不影响输出质量。缓存命中依赖于提供商的块级缓存实现、缓存容量和 TTL，并非在所有部署环境中保证 100% 命中。

5. 工程边界与权衡

5.1 提供商缓存实现差异

并非所有推理服务均实现块级前缀缓存。某些服务可能仅支持完整提示词哈希匹配，此时任何尾部差异都会导致全部缓存失效。开发者应查阅具体提供商的文档，或采用兼容策略：将整个静态提示词前置，动态部分尽可能短，以降低全量重算开销。

5.2 缓存 TTL 与并发驱逐

服务端缓存具有有限 TTL（分钟至小时级）。低频或间歇请求的缓存可能在间隔期已被清退。并发负载下，众多请求争用缓存空间，静态前缀可能因长期未命中而被驱逐。因此，缓存优化收益在持续高频率会话中最显著。

5.3 前缀长度与显存占用

虽然缓存由服务端管理，静态前缀越长，占用的服务端 KV 缓存块越多。在 GQA 模型中，单块的显存开销已大幅降低，但极端长的静态前缀（例如 > 32K tokens）仍可能触发提供商的配额限制或导致缓存频繁换出。需在约束完整性与前缀长度之间权衡。

5.4 动态数据无法绝对避免

部分应用中，系统提示词可能依赖用户身份、权限或配置。此时完全的静态前缀不可行。替代策略是分层缓存：将全局不变的规则前置，将用户级相对静态的信息居中，将请求级动态查询后置，通过多级缓存提升命中率。但收益取决于提供商的多级缓存实现。

6. 结论

KV 缓存将自回归解码从平方级复杂度拯救，而跨请求前缀缓存将这一收益扩展至多请求间。其命中条件------公共前缀的块级精确匹配------要求提示词设计严格遵循"静态前缀最大化、动态内容后置"原则。现代推理引擎的分块缓存和基数树索引使得该策略更为健壮，但仍受制于提供商实现、缓存生命周期和前缀长度。

以不可变规则作为静态系统提示词后缀、动态任务上下文作为 user 消息后置的架构模式，是这一原则的直接应用。其在工程实践中有效降低了长周期代理的推理延迟和成本，但本质上是系统级设计约束，而非通用优化技巧。对于大规模部署的 LLM 代理系统，将提示词视为缓存感知的序列结构并施加严格的动静分离，是生产化的必要前提。