摘要
标准拒绝采样与PPO裁剪机制之间最深刻的联系，不在于工程架构上的相似性，而在于它们共享同一套梯度方差缩减 的数学本质。RGPO将这一洞察形式化：策略优化不应"重新加权"所有样本，而应"选择"足够可信的样本参与更新。这一"选择而非加权"的原则，在理论上统一了TRPO、PPO和REINFORCE，并给出了有限有界梯度方差的形式化保证；在实践上，它同时解释了标准拒绝采样在投机解码中的无损性，以及PPO裁剪在RL训练中的稳定性。更进一步，Bebop的研究揭示了投机解码中MTP接受率受模型熵线性上界约束，使得"方差缩减"从一个优化技巧上升为训练可行性的必要条件。本文从优化理论、算法架构和系统实现三个层面，系统梳理这一从"过滤"到"选择"的统一框架，并完整覆盖投机解码在强化学习训练中的方法地图与工程实践。
目录
- 引言：一个被忽视的理论桥梁
- 投机解码与拒绝采样的数学基础
- 优化理论层：方差缩减的统一视角
- 算法设计层：从RGPO到投机解码的"选择"范式
- 系统实现层：投机解码在RL训练中的方差维度
- 代表性工作与实验证据
- 关键挑战与未来方向
- 关键方法索引与链接
1. 引言：一个被忽视的理论桥梁
1.1 两个看似无关的机制
标准拒绝采样是投机解码无损加速的数学根基。PPO裁剪是大语言模型RLHF训练稳定性的核心保障。两者一个作用于解码机制 ，一个作用于梯度更新，看似分属不同领域。
然而，越来越多的理论工作揭示了一个深层共性：它们都在通过"选择"而非"加权"来控制梯度估计的方差。
1.2 传统视角的局限
传统的重要性采样（IS）框架是一种"权重修正"方法：保留所有样本，通过乘以密度比率 rθ=πθ/πoldr_{\theta} = \pi_{\theta} / \pi_{\mathrm{old}}rθ=πθ/πold 来补偿分布差异。但RGPO指出，当新旧策略漂移时，重要性比率可能变得极大，导致梯度方差爆炸、训练失稳------"重新加权在数学上是合理的，但在实践中是脆弱的"。
这一观察引出了一个根本性的反思：策略优化是否应该"重新加权所有样本"，还是应该"选择值得信赖的样本"？
1.3 核心命题
本文的核心命题是：标准拒绝采样和PPO裁剪共享同一套方差缩减的数学本质------通过有选择地"过滤"样本或梯度，控制梯度估计的方差，从而提升训练稳定性。 这一原则在RGPO框架下被形式化为"可微接受门"，统一了TRPO、PPO和REINFORCE。而当投机解码被集成到RL训练中时，其接受率与模型熵的内在约束使得方差缩减从"优化技巧"上升为"训练可行性"的必要条件。
2. 投机解码与拒绝采样的数学基础
2.1 自回归解码为什么慢
大语言模型生成文本时，通常一次只产生一个token。每生成一步，都要读取模型权重、执行一次前向计算，再把新token加入上下文。下一个token必须依赖刚生成的结果，这些步骤不能直接合并。
Transformer推理通常分为两个阶段：
- prefill：处理已经给定的输入序列，建立KV cache。所有输入token都已知，可以组成较大的矩阵并行计算。
- decode ：基于KV cache逐个生成新token。新token不确定，第 ttt 步必须等待第 t−1t-1t−1 步完成，所以是串行的。
在常见的小批量推理中，decode受显存带宽限制。虽然KV cache避免了重复计算历史token的键和值，但每一步仍然需要读取注意力层、MLP和归一化层的模型参数。单步计算量不能充分利用并行计算单元，权重搬运成本占据较大比例。
2.2 标准投机解码流程：草稿与核验
设目标模型的分布为 ppp，草稿模型的分布为 qqq，一次草拟 KKK 个token。标准投机解码流程如下：
- 草稿模型自回归生成 KKK 个候选。
- 目标模型对整段候选执行一次前向计算。
- 从左到右检查候选。
- 接受连续通过核验的前缀。
- 第一次拒绝时，从校正分布采样一个token，并丢弃该位置之后的草稿。
- 如果 KKK 个候选全部通过，再从目标模型给出的第 K+1K+1K+1 个分布采样一个奖励token。
第 iii 个候选必须在相同条件下比较：
- qiq_iqi 是草稿模型在"已确认前缀 + 前 i−1i-1i−1 个草稿token"下的分布。
- pip_ipi 是目标模型在同一前缀下的分布。
标准算法通常要求两者使用同一token空间，否则 pip_ipi 与 qiq_iqi 无法直接比较。
一轮核验至少前进一个目标token。最坏情况下，第一个候选被拒绝，算法在拒绝位置按目标校正规则采样；最好情况下，KKK 个候选全部通过，并额外获得一个奖励token，一轮前进 K+1K+1K+1 个token。
这不代表 KKK 越大越好。草稿长度增加后，草稿成本、目标核验长度和候选被拒后的浪费都会增加。实际收益取决于平均接受长度与两类模型的相对成本。在极端情况下，如果草稿长度 KKK 等于目标模型一次可核验的token数量，那么投机解码与标准解码等价。
2.3 拒绝采样为什么能保持目标分布
草稿分布 qqq 与目标分布 ppp 通常是不同的。如果直接接受草稿模型的输出，最终分布就会偏向 qqq。标准投机解码通过接受概率和拒绝后的校正分布消除这种偏差。
考虑一个包含四个候选词的虚拟示例：
| 词 | 目标分布 ppp | 草稿分布 qqq |
|---|---|---|
| 电视 | 0.40 | 0.50 |
| 电影 | 0.30 | 0.20 |
| 书 | 0.20 | 0.10 |
| 球 | 0.10 | 0.20 |
这些数值只用于说明算法，不代表实际模型的词表概率。
接受概率：
草稿先按 qqq 提出token xxx，再按下面的概率接受：
min(1,p(x)q(x)) \min\left(1, \frac{p(x)}{q(x)}\right) min(1,q(x)p(x))
当 q(x)>p(x)q(x) > p(x)q(x)>p(x) 时，草稿提出该token过于频繁，必须按 p(x)/q(x)p(x)/q(x)p(x)/q(x) 的比例减少接受次数。当 p(x)≥q(x)p(x) \ge q(x)p(x)≥q(x) 时，草稿没有过量提出，可以全部接受。
在上面的例子中：
- "电视"的接受概率是 0.40/0.50=0.80.40 / 0.50 = 0.80.40/0.50=0.8。
- "电影"和"书"的接受概率封顶是 111。
- "球"的接受概率是 0.10/0.20=0.50.10 / 0.20 = 0.50.10/0.20=0.5。
草稿提出 xxx 并被接受的总概率为：
min(p(x),q(x)) \min(p(x), q(x)) min(p(x),q(x))
这部分是目标分布与草稿分布的重叠质量。
拒绝后的校正分布：
候选被拒绝后，不能直接重新从完整的 qqq 采样。否则，已经通过接受路径覆盖的概率质量会被重复计算。
目标分布尚未覆盖的质量是：
max(0,p(x)−q(x)) \max(0, p(x) - q(x)) max(0,p(x)−q(x))
拒绝发生时，算法从归一化后的剩余质量中采样：
norm(max(0,p(x)−q(x))) \text{norm}\left(\max(0, p(x) - q(x))\right) norm(max(0,p(x)−q(x)))
在示例中，"电视"和"球"没有剩余质量；"电影"和"书"各剩 0.100.100.10。归一化后，校正分布在"电影"和"书"之间各占 0.50.50.5。
设单个位置的总接受概率为：
P(accept)=∑xmin(p(x),q(x)) P(\text{accept}) = \sum_x \min(p(x), q(x)) P(accept)=x∑min(p(x),q(x))
总拒绝概率是 1−P(accept)1 - P(\text{accept})1−P(accept)。由于 ppp 和 qqq 都归一化，目标分布高于草稿分布的总质量与草稿分布高于目标分布的总质量相等，所以：
∑xmax(0,p(x)−q(x))=∑xmax(0,q(x)−p(x)) \sum_x \max(0, p(x) - q(x)) = \sum_x \max(0, q(x) - p(x)) x∑max(0,p(x)−q(x))=x∑max(0,q(x)−p(x))
拒绝后，归一化校正分布是 norm(max(0,p(x)−q(x)))\text{norm}(\max(0, p(x) - q(x)))norm(max(0,p(x)−q(x)))。所以拒绝路径对token xxx 的无条件概率贡献为：
(1−P(accept))⋅max(0,p(x)−q(x))∑x′max(0,p(x′)−q(x′)) (1 - P(\text{accept})) \cdot \frac{\max(0, p(x) - q(x))}{\sum_{x'} \max(0, p(x') - q(x'))} (1−P(accept))⋅∑x′max(0,p(x′)−q(x′))max(0,p(x)−q(x))
接受路径与拒绝路径相加：
min(p(x),q(x))+max(0,p(x)−q(x))=p(x) \min(p(x), q(x)) + \max(0, p(x) - q(x)) = p(x) min(p(x),q(x))+max(0,p(x)−q(x))=p(x)
所以，单个核验位置的输出服从目标分布。对草稿位置按条件前缀重复应用这一结论，可以归纳得到整段已提交序列还是服从目标模型的自回归分布。
实现时，通常为每个草稿位置生成独立随机数 rir_iri。当 ri≤min(1,pi/qi)r_i \le \min(1, p_i/q_i)ri≤min(1,pi/qi) 时接受该位置，否则在该位置停止，并使用剩余分布采样。多个位置的比值与随机数比较可以向量化，但最终只能提交第一次拒绝之前的连续前缀。
需要区分两件事：
- 分布无损 ：标准拒绝采样保证输出服从 ppp。
- 速度提升：只有在接受长度足够大、草稿成本足够低时才成立。
一些方法使用typical acceptance等宽松规则换取更长的接受前缀。这类规则不等价于标准拒绝采样，不能继续输出严格服从原目标分布。
从方差缩减的视角看 ，拒绝采样在数据层面 实现了"选择"：它丢弃了草稿分布中过量的概率质量（当 q(x)>p(x)q(x) > p(x)q(x)>p(x) 时），只保留目标分布与草稿分布的重叠部分用于接受路径，剩余部分通过校正分布精确补全。这与RGPO的"选择可信样本"原则在数学上同构。
2.4 树形草稿与祖先掩码
线性草稿只保留一条候选路径。如果靠前位置被拒绝，后续候选全部失效。当前缀存在多个合理延续时，可以把共享前缀的候选合并成树，再由目标模型一次核验。
目标模型还是接收一段线性张量，所以需要先把树节点压平成序列。压平后，普通因果掩码会产生错误依赖：某个节点可能看到排列在它前面、但不属于其祖先链的其他分支。
树核验需要同时处理注意力掩码和位置编号：
- 每个节点只允许关注自己的祖先链。
- position ID按节点的树深设置，而不是按压平后的数组下标设置。
假设压平后共有 NNN 个节点，构造 N×NN \times NN×N 祖先掩码 MMM：
Mij=1当且仅当节点 j 是节点 i 的祖先或节点 i 本身 M_{ij} = 1 \quad \text{当且仅当节点 } j \text{ 是节点 } i \text{ 的祖先或节点 } i \text{ 本身} Mij=1当且仅当节点 j 是节点 i 的祖先或节点 i 本身
每个节点只能访问从根到自身的路径，不能读取兄弟分支。相同深度的节点使用相同的位置编号。只有掩码和position ID都和原路径一致，目标模型对每条候选路径给出的条件分布才与单独运行该路径时一致。
树形草稿提高了命中合理路径的概率，但同时增加了核验序列长度和注意力成本。树的宽度、深度与目标模型一次可承受的核验规模之间需要平衡。
3. 优化理论层：方差缩减的统一视角
3.1 问题根源：重尾重要性采样比率
策略梯度方法的标准估计量为：
∇θJ(θ)=E(s,a)∼πoldrθ(s,a)A(s,a)∇θlogπθ(a∣s) \nabla_{\theta} J(\theta) = \mathbb{E}{(s,a)\sim \pi{\mathrm{old}}} \left r_{\\theta}(s,a) A(s,a) \\nabla_{\\theta}\\log \\pi_{\\theta}(a\|s) \\right ∇θJ(θ)=E(s,a)∼πoldrθ(s,a)A(s,a)∇θlogπθ(a∣s)
其中 rθ(s,a)=πθ(a∣s)/πold(a∣s)r_{\theta}(s,a) = \pi_{\theta}(a|s) / \pi_{\mathrm{old}}(a|s)rθ(s,a)=πθ(a∣s)/πold(a∣s) 是重要性采样比率。当 πθ\pi_{\theta}πθ 与 πold\pi_{\mathrm{old}}πold 差异增大时，rθr_{\theta}rθ 的分布变得重尾 ，导致梯度估计的方差发散。GRPO的分析进一步指出，优势规范化本身是一种无偏的方差降低估计量------减去任何依赖于 yyy 的基准 b(y)b(y)b(y) 在期望上不改变梯度。但优势规范化只能处理奖励维度 的方差，无法解决重要性比率维度的方差爆炸。
RGPO的理论贡献在于：即使重要性采样比率是重尾的（此时传统IS的方差发散），RGPO也能保证梯度方差有限且有界 。这一保证不是通过"修正"比率实现的，而是通过"选择"------用一个可微的接受门 αθ(s,a)=g(rθ(s,a))∈0,1\alpha_{\theta}(s,a) = g(r_{\theta}(s,a)) \in 0,1αθ(s,a)=g(rθ(s,a))∈0,1 替代原始比率。
3.2 RGPO：从"重新加权"到"选择"
RGPO的核心洞察是：
策略优化不应重新加权所有样本，而应选择足够可信的样本参与更新。
这一"选择"通过可微接受门实现，其有效梯度权重为：
w(r)=g′(r)⋅r w(r) = g'(r) \cdot r w(r)=g′(r)⋅r
RGPO的统一性体现在：TRPO、PPO和REINFORCE的策略梯度都对应于 g(r)g(r)g(r) 的不同选择。
| 方法 | 接受门 g(r)g(r)g(r) | 有效梯度权重 w(r)w(r)w(r) | 行为特征 |
|---|---|---|---|
| REINFORCE | g(r)=rg(r) = rg(r)=r（恒等） | w(r)=rw(r) = rw(r)=r | 完全加权，无过滤 |
| PPO Clip | g(r)=min(r,clip(r,1−ϵ,1+ϵ))g(r) = \min(r, \text{clip}(r,1-\epsilon,1+\epsilon))g(r)=min(r,clip(r,1−ϵ,1+ϵ)) | 超出区间时梯度置零 | 硬性过滤极端比率 |
| RGPO | g(r)g(r)g(r) 为平滑可微函数 | 光滑衰减，尾部有界 | 软性选择，方差有界 |
PPO的裁剪机制在 rrr 超出 1−ϵ,1+ϵ1-\\epsilon, 1+\\epsilon1−ϵ,1+ϵ 时，对于正优势样本，rArArA 项的梯度被阻断，相当于在梯度空间做了一次硬性拒绝 。而RGPO用一个平滑可微的接受门替代了这种硬性截断，使得过滤过程可以参与梯度计算并被隐式更新。
RGPO还提供了双比率门的设计：同时锚定前一策略和参考模型。在Qwen2.5-1.5B-Instruct上的在线偏好微调中，RGPO实现了奖励提升14.8%、KL散度降低16.0%的帕累托最优结果。
3.3 方差保证与偏差控制
RGPO不仅提供了方差缩减的保证，还给出了偏差控制的形式化结果：
- 方差有界性：RGPO保证梯度方差有限且有界，即使IS比率重尾。
- 偏差可控性 ：RGPO只引入有界、可控的偏差 ，并提供类似于TRPO的近似单调策略改进保证。
- 计算成本：RGPO的计算成本与PPO相当，不需要二阶优化。
3.4 R²VPO：从硬裁剪到方差约束的平滑松弛
R²VPO进一步推动了这一方向，指出PPO的硬裁剪约束 存在一个根本性代价：它不加区分地截断了来自高回报但高分歧动作的梯度，抑制了复杂推理中罕见但极具信息量的"eureka moments"。
R²VPO的核心洞察是：显式约束策略比率的方差（二阶中心矩）提供了硬裁剪的原则性平滑松弛 。它通过primal-dual优化框架实现这一约束，支持稳定on-policy学习，并通过动态重加权而非丢弃陈旧样本实现原则性的off-policy数据复用。理论分析表明，比率方差的约束可以导出信任域约束的局部二阶近似，消除了对二元硬裁剪的需求。
在DeepSeek-Distill-Qwen-1.5B和openPangu-Embedded系列（1B和7B）上，R²VPO实现了17%的平均相对增益 ，且达到收敛所需的rollout次数减少约50%。
3.5 GVM-RAFT：拒绝采样中的梯度方差最小化
GVM-RAFT将方差缩减的视角从"算法机制"推进到"采样预算分配"。其核心洞察是：静态的采样策略导致低效的随机梯度估计，是链式思维推理训练的主要瓶颈。
GVM-RAFT通过动态样本分配策略 ，在计算预算约束下最小化随机梯度方差。方法动态分配计算资源，监控每个prompt的接受率和随机梯度范数 ，确保梯度方差最小化。理论分析表明，该动态采样策略在适当条件下加速了收敛速度 。在数学推理任务上，GVM-RAFT实现了2--4倍加速和显著的准确率提升，且该策略可集成到GRPO等其他RL算法中。
3.6 KL3估计器：方差缩减的蒙特卡洛视角
GRPO的统一框架分析进一步识别了KL3估计器 作为方差缩减的蒙特卡洛估计器，并证明了基于KL3的约束在数学上等价于一种非对称的比率裁剪，该裁剪将概率质量重新分配给高置信度动作。这为"裁剪即方差缩减"的视角提供了另一个数学支撑。
4. 算法设计层：从RGPO到投机解码的"选择"范式
4.1 投机解码的核验机制：拒绝采样的精确复现
如第2.3节所述，投机解码的核心------标准拒绝采样------在数学上与从目标分布中直接采样是严格等价 的。从方差缩减的视角看，拒绝采样在数据层面实现了"选择"：它丢弃了草稿分布中过量的概率质量，只保留目标分布与草稿分布的重叠部分用于接受路径，剩余部分通过校正分布精确补全。这与RGPO的"选择可信样本"原则在数学上同构。
4.2 PPO裁剪的梯度方差缩减
PPO裁剪的方差缩减作用发生在优化层面。PPO的目标函数为：
LPPO(θ)=Emin(rθA,clip(rθ,1−ϵ,1+ϵ)⋅A) \mathcal{L}_{\mathrm{PPO}}(\theta) = \mathbb{E}\left\\min\\left(r_{\\theta}A, \\text{clip}(r_{\\theta}, 1-\\epsilon, 1+\\epsilon) \\cdot A\\right)\\right LPPO(θ)=Emin(rθA,clip(rθ,1−ϵ,1+ϵ)⋅A)
当 rθr_{\theta}rθ 超出 1−ϵ,1+ϵ1-\\epsilon, 1+\\epsilon1−ϵ,1+ϵ 且 A>0A > 0A>0 时，min 操作选择裁剪后的版本，梯度被阻断。这相当于在梯度空间做了一次拒绝采样------过滤掉了可能导致高方差的极端更新方向。
研究表明，虽然PPO的裁剪目标产生的是有偏梯度估计 ，但它显著降低了方差，且这种方差缩减与PPO的稳定性提升直接相关。
4.3 GTO：直接优化草稿树的期望接受长度
GTO指出，现有训练目标只优化单条贪婪草稿路径 ，而解码时却使用树策略 进行重排和核验，这种"草稿策略错位"限制了加速上限。GTO的核心是设计Draft Tree Reward ------草稿树在目标模型下的期望接受长度，这是一个采样无关的目标，直接衡量解码性能。
优化采用组式方法 ：对比当前草稿模型与冻结参考模型生成的树，形成去偏的组标准化优势，并沿最长接受序列应用PPO风格的裁剪目标 。GTO从理论上证明了提高Draft Tree Reward可证明地提升期望接受长度与加速比。在MT-Bench、HumanEval、GSM8K上，GTO将接受长度提升7.4% ，并在EAGLE-3基础上额外获得7.7%的加速。
4.4 LK Losses：从KL代理到直接接受率优化
LK Losses推动了一个重要的范式转变。标准训练使用KL散度作为接受率的代理目标 ，但本文指出：对于小容量草稿模型，最小化KL并不保证最大化接受率。两者虽然共享相同的全局最优解，但有限容量的草稿模型通常收敛到次优解，此时最小化KL无法保证最大化接受率。
接受率的数学本质是 1−TV(p,q)1 - \text{TV}(p,q)1−TV(p,q)，即总变差距离的补。LK Losses提出直接优化接受率的训练目标 （LK-direct），以及从KL到LK的渐进过渡策略。在四种草稿架构和六个目标模型（8B--685B）上，LK Losses在通用、代码和数学领域实现了8--10%的平均接受长度提升，且不引入任何计算开销。
4.5 PPOW：窗口级优化与成本感知奖励
PPOW将草稿优化从token级模仿转向窗口级优化 。其奖励设计包含两部分：成本感知加速奖励 Rspeedup=k/(kγ+1)R_{\text{speedup}} = k / (k\gamma + 1)Rspeedup=k/(kγ+1)，其中 kkk 为接受前缀长度，γ\gammaγ 为草稿器相对成本，直接平衡接受长度与草稿开销；以及分布邻近奖励 RdistR_{\text{dist}}Rdist，当核验过早截断时，为与目标模型偏好窗口累积对数似然接近的草稿窗口提供有界部分信用 ，缓解稀疏奖励问题。PPOW实现了平均接受长度6.29--6.52 和3.39×--4.36×的加速。
4.6 LTD：草稿-核验周期的RL环境建模
LTD将投机解码的"草稿-核验"周期建模为强化学习环境 ，训练两个协同适应的策略 来动态协调草稿深度和核验规模。其奖励直接是每个周期的吞吐量 Rt=LA/(Tdraft+Tverify)R_t = L_A / (T_{\text{draft}} + T_{\text{verify}})Rt=LA/(Tdraft+Tverify)，目标是让两个策略相互适应，共同最大化解码效率。LTD在五个LLM和四项任务上实现2.24×--4.32×加速 ，比EAGLE-3最高提升36.4%。
4.7 RADAR：草稿树生成的MDP建模
RADAR将草稿树生成过程 形式化为马尔可夫决策过程（MDP） ，用离线RL训练预测模型，实现实时决策是否调用草稿模型 以及如何扩展草稿树，而非预设固定深度。状态包含当前已生成序列和草稿树结构，动作是"继续扩展草稿"或"停止并调用目标模型核验"，奖励函数则直接设计为接受长度与草稿成本的权衡 。RADAR在三个LLM和四项任务上实现了3.17×--4.82×的加速。
4.8 投机解码中接受率的熵约束
投机解码在RL训练中的一个关键发现是：MTP接受率受模型熵的线性上界约束 。Bebop的研究揭示，MTP接受率与模型熵的上升呈清晰的负线性关系------当RL训练中模型熵升高时，接受率显著退化，限制了加速效果。
这一发现揭示了一个深刻的约束：方差缩减不仅是训练稳定性的问题，更是训练可行性的问题。当模型熵波动导致接受率下降时，投机解码的加速效果大打折扣。
Bebop的核心贡献在于：概率性拒绝采样（而非贪婪草稿采样）极大地缓解了熵的干扰 ，因为其接受率取决于分布重叠而非仅依赖top-1 token。Bebop进一步提出了端到端TV损失 直接优化多步拒绝采样的接受率，实现了约10%的接受率提升 和最高95%的接受率 ，在数学推理、代码生成和agent任务上实现了最高1.8×的端到端RL训练加速。
更关键的是，Bebop发现pre-RL的MTP训练配合端到端TV损失和拒绝采样，可以在整个RL过程中保持一致的接受率和加速效果 ，从而消除了昂贵的在线MTP更新需求。这一工程洞察的深层含义是：如果草稿模型的训练目标直接优化接受率（而非代理的KL散度），并且使用概率性拒绝采样（而非贪婪采样），那么草稿模型对RL训练中熵波动的鲁棒性会显著提升。
5. 系统实现层：投机解码在RL训练中的方差维度
5.1 Rollout瓶颈与方差缩减的交汇
在RLHF/GRPO训练中，Rollout生成阶段占据整步训练时间的约70% 。投机解码通过拒绝采样保证了Rollout生成的数学无损性 ------它可以在不引入策略偏差的情况下加速这一瓶颈环节。
从方差缩减的视角看，这一"无损性"的深层含义是：投机解码在数据层面 执行了与RGPO在梯度层面 相同的"选择"原则。草稿模型提出的候选token中，与目标分布重叠的部分被"选择"接受，不重叠的部分被"拒绝"并通过校正分布补全。最终提交的token序列在分布上精确服从目标模型，从而不引入额外的梯度估计偏差。
5.2 在线协同训练中的方差动态
FastGRPO和ReSpec等在线协同训练方法的核心挑战是：主模型参数持续更新导致草稿模型"陈旧" ，进而影响接受率和加速效果。从方差视角看，草稿模型的陈旧直接导致草稿分布 qqq 与目标分布 ppp 的重叠度下降，接受率降低，投机解码的方差缩减效果减弱。
ReSpec 是首个系统化将投机解码适配到RL的框架，通过三个机制应对这一挑战：动态调整SD配置、通过知识蒸馏演化草稿模型、按rollout奖励加权更新 。在Qwen 3B--14B上实现了最高4.5×的加速，同时保持奖励收敛和训练稳定。
FastGRPO 引入并发感知的投机解码框架 ，根据实时并发水平动态调整草稿和核验策略，其在线草稿学习机制 使草稿模型能够利用目标模型的反馈信号持续适应。在数学推理任务上实现了2.35×到2.72×的端到端加速。
ODCT 进一步解决了大规模长上下文场景下的工程挑战：标准因果上下文并行（CP）实现不支持草稿模型所需的分支注意力，目标模型特征可能跨越流水线并行（PP）阶段。ODCT通过扩展的Zigzag Ring Attention 和TapChannel 在PP阶段间传输中间特征，在模型规模高达122B 、上下文长度256K tokens 的场景下实现了最高1.88×的端到端加速。
NVIDIA NeMo RL 在其框架中集成了EAGLE-3草稿模型的在线训练支持 。一个关键观察是，当草稿模型随机初始化时，其接受率从接近0持续上升至约0.56，同时草稿损失从12.5降至1.9，表明在线训练的草稿模型正在学习跟踪策略并逐渐变得有用。
5.3 TLT：长尾场景下的自适应草稿
TLT（Taming the Long-Tail） 针对推理RL训练中长尾响应 主导执行时间的问题，设计Adaptive Drafter ------在空闲GPU上持续训练 轻量草稿模型，保持与演化中目标模型的对齐且零额外成本 。配合Adaptive Rollout Engine ，维护CUDAGraph池并为每个批次自适应选择SD策略。TLT实现了超过1.7×的端到端RL训练加速，保持模型精度，并免费产出高质量草稿模型。
5.4 DAS、SRT与SpecRoll
DAS（Distribution-Aware Speculative Decoding） 在数学和代码推理任务上减少rollout时间达50% ，同时保持完全相同的训练曲线。这证明分布感知的投机解码可以在不损害学习质量的前提下显著加速RL后训练。
SRT（Speculative Rollout with Tree-Structured Cache） 利用同一提示在不同训练步骤间rollout的相似性 ，将历史生成续写存储在每提示的树结构缓存 中，当前策略用该树作为草稿模型进行投机解码。这是一个模型无关的方法，不牺牲分布正确性，可接入PPO风格裁剪目标或GRPO/DAPO等多采样变体。
SpecRoll 引入快慢双路径自适应 ：Reflex路径 将延迟的验证器错误转化为临时隐空间修正 （无需反向计算），慢路径 将持续不匹配吸收到预测头参数中。在1.5B--14B模型上实现了1.26×--2.15×的生成加速，优于FastGRPO。
5.5 BubbleSpec：将长尾气泡转化为草稿
BubbleSpec 提出了一种独特的系统级视角：它不消除数据并行rank间的长尾气泡，而是利用这些气泡 。在同步RL训练中，快速GPU完成生成后处于空闲状态，BubbleSpec利用这些空闲时间窗口预生成后续步骤的rollout结果，作为投机解码的草稿 。这种方法的优势是对数据集大小不敏感，从训练一开始就提供即时加速 。实验表明，BubbleSpec将解码步数减少约50% ，rollout速度提升最高1.8×，同时严格保持算法的数学精确性。
5.6 训练感知的投机解码
"Draft, Verify & Improve"提出了训练感知的投机解码 范式：核验阶段使用仅被接受的位置来聚焦信用分配，通过在线知识蒸馏进行校准，并使用近期奖励的EMA作为方差缩减的基线。这种方法将投机解码的核验结果直接转化为训练信号，使得解码加速和策略优化形成闭环。
6. 代表性工作与实验证据
| 方法 | 核心贡献 | 方差缩减机制 | 关键结果 |
|---|---|---|---|
| RGPO | 将拒绝采样提升为优化原则，统一TRPO/PPO/REINFORCE | 可微接受门 αθ=g(rθ)\alpha_{\theta} = g(r_{\theta})αθ=g(rθ)，保证梯度方差有界 | Qwen2.5-1.5B上奖励提升14.8%，KL散度降低16.0% |
| R²VPO | 方差约束替代硬裁剪，primal-dual框架 | 显式约束比率方差，平滑松弛硬裁剪 | 17%平均增益，收敛rollout减少50% |
| GVM-RAFT | 动态样本分配最小化梯度方差 | 监控接受率和梯度范数，动态分配计算预算 | 数学推理2--4倍加速，可集成到GRPO |
| LK Losses | 直接优化接受率替代KL代理 | TV-style直接接受率损失 | 接受长度提升8--10%，零计算开销 |
| Bebop | 熵感知MTP+拒绝采样 | 概率性拒绝采样替代贪婪采样，端到端TV损失 | 接受率提升10%，最高95%，RL加速1.8× |
| PPO Clip | 梯度层硬性过滤极端更新 | 裁剪比率超出区间时梯度置零 | 显著降低方差，提升训练稳定性 |
| GTO | Draft Tree Reward，直接优化期望接受长度 | PPO风格裁剪 + 组式策略训练 | 接受长度提升7.4%，加速提升7.7% |
| PPOW | 窗口级优化，成本感知加速奖励 | 成本感知 + 分布邻近奖励 | 接受长度6.29--6.52，加速3.39×--4.36× |
| LTD | 草稿-核验周期建模为RL环境 | PPO联合优化深度/大小策略 | 加速2.24×--4.32×，比EAGLE-3提升36.4% |
| RADAR | 草稿树生成建模为MDP | 离线RL实时决策 | 3.17×--4.82×加速 |
| FastGRPO | 在线草稿学习，并发感知投机解码 | GRPO + 在线知识蒸馏 | 2.35×--2.72×端到端加速 |
| ReSpec | 动态SD配置、知识蒸馏演化草稿 | 按rollout奖励加权更新 | 最高4.5×加速 |
| TLT | 空闲GPU持续训练Adaptive Drafter | 零额外成本，长尾RL加速 | 1.7×端到端RL加速 |
| ODCT | 大规模长上下文在线草稿协同训练 | CP/PP扩展，Zigzag Ring Attention + TapChannel | 122B模型、256K上下文下1.88×加速 |
| BubbleSpec | 利用长尾气泡预生成草稿 | 无额外成本，保持数学精确性 | 解码步数减少约50%，rollout加速1.8× |
| KL3估计器 | 方差缩减的KL蒙特卡洛估计器 | 等价于非对称比率裁剪 | GRPO统一框架下的理论识别 |
7. 关键挑战与未来方向
7.1 理论挑战
RGPO的接受门设计仍是一个开放问题。不同的 g(r)g(r)g(r) 选择在方差缩减和偏差控制之间产生不同的权衡。R²VPO的primal-dual框架提供了一种思路，但如何自适应地选择最优的接受门函数，需要进一步的理论指导。此外，KL3估计器与RGPO接受门之间的深层数学联系仍有待探索。
7.2 系统挑战
在线协同训练在大型模型（如122B）和长上下文（256K tokens）场景下会面临上下文并行（CP） 和流水线并行（PP） 的工程挑战。从方差视角看，分布式训练中的梯度方差与单机场景有本质不同------不同rank上的梯度估计可能具有不同的方差特性，需要专门的方差感知聚合策略。
7.3 熵与方差的交互
投机解码接受率与模型熵的线性约束关系揭示了一个更深层的问题：RL训练中的熵动态如何影响梯度估计的方差？ Bebop的发现表明，熵升高不仅降低接受率，也可能增大策略梯度的方差。这意味着方差缩减需要同时考虑"解码层"和"优化层"的熵效应。
7.4 未来方向
- 自适应接受门：设计能够根据训练阶段和任务特性自动调整的接受门函数，结合R²VPO的primal-dual框架实现动态方差约束。
- 方差感知的采样分配：将GVM-RAFT的动态采样策略扩展到投机解码场景，实现"解码预算"和"训练预算"的联合优化。
- 理论统一的实验验证 ：系统性地验证RGPO框架下不同 g(r)g(r)g(r) 选择在LLM RLHF任务中的表现，并探索KL3估计器与接受门的统一数学框架。
- 跨层方差缩减：将解码层（拒绝采样）、算法层（PPO裁剪/RGPO/R²VPO）和系统层（在线协同训练）的方差缩减机制统一设计，避免各层独立优化的次优性。
- 熵感知的端到端训练：基于Bebop的发现，将熵感知的拒绝采样和端到端TV损失作为投机解码在RL训练中的标准范式，消除在线更新的必要性。