【文献阅读 ICML 2026】RL算法：R2VPO

标题：Ratio-Variance Regularized Policy Optimization

RL算法：R2VPO

arxiv: 2605.26784v1 | ICML 2026
GitHub: https://github.com/Roythuly/R2VPO

一、背景

传统信任区域方法的局限：标准的on-policy强化学习（如PPO和GRPO）依赖启发式裁剪机制来强制信任区域，以保证策略更新的稳定性。
硬裁剪的缺陷 ：裁剪机制通过"逐点的二元决策"来强制稳定性。当策略比率 ρt(θ)\rho_t(\theta)ρt(θ) 超出预设阈值时，梯度会被突兀地截断。导致高价值但高散度的探索样本（如LLM发现的新颖推理轨迹）被不加区分地抑制，同时历史数据一旦变得轻微过时就会失去作用，极大降低了数据利用率。
本文动机：作者提出，这种局限并非信任区域优化本身的问题，而是硬裁剪的结果。作者发现，在局部范围内，约束策略散度近似等价于控制策略比率的二阶统计量------即其方差。因此，用方差正则化替代硬裁剪，既保留了高价值探索的梯度信号，又能自然降低过时异策略数据的权重。

二、方法

（一）预备知识

马尔可夫决策过程 (MDP) ：一个标准的RL框架可建模为马尔可夫决策过程（MDP），由五元组M=⟨S,A,P,r,γ⟩M = \langle S,A,P, r, \gamma\rangleM=⟨S,A,P,r,γ⟩定义，SSS是状态空间，AAA是动作空间，PPP是状态转移概率，rrr是奖励函数，γ\gammaγ是折扣因子用于平衡即时奖励与未来奖励。目标是找到最优策略 π∗\pi^*π∗ 最大化期望折扣累积回报:
J(πθ)=Eτ∼πθ $\sumt=0\inftyγtr(st,at)$ J(\pi_\theta) = \mathbb{E}{\tau \sim \pi\theta}\left $\\sum_{t=0}\^{\\infty} \\gamma\^t r(s_t, a_t)\\right$ J(πθ)=Eτ∼πθ $t=0\sum\inftyγtr(st,at)$
其中 τ=(s0,a0,s1,a1,... )\tau = (s_0, a_0, s_1, a_1, \dots)τ=(s0,a0,s1,a1,...) 表示依据策略 πθ\pi_\thetaπθ 采样得到的一条轨迹。。
信任区域策略优化 (TRPO) ：通过在KL散度约束下最大化替代的目标来保证单调改进，确保新策略的提升在旧策略的信任区间：
max⁡θEt $ρt(θ)A\^t$ s.t.Et $DKL(πold∥πθ)$ ≤δ \max_\theta \mathbb{E}t $\\rho_t(\\theta) \\hat{A}_t$ \quad \text{s.t.} \quad \mathbb{E}t $D_{KL}(\\pi_{old} \\\| \\pi_\\theta)$ \le \delta θmaxEt $ρt(θ)A\^t$ s.t.Et $DKL(πold∥πθ)$ ≤δ
ρt(θ)=πθπold\rho_t(\theta)=\frac{\pi{\theta}}{\pi{old}}ρt(θ)=πoldπθ 是策略比率，A^t\hat{A}_tA^t 是优势函数，δ\deltaδ是散度限制，信任域约束会隐性要求策略比率在整个数据分布上趋近于 1。
近端策略优化 (PPO/GRPO) ：为避免KL散度这种二阶优化的高昂计算成本，采用启发式裁剪目标替代显式约束：
LCLIP(θ)=Et $min⁡(ρt(θ)A\^t,clip(ρt(θ),1−ϵ,1+ϵ)A\^t)$ L^{CLIP}(\theta) = \mathbb{E}_t $\\min(\\rho_t(\\theta) \\hat{A}_t, \\text{clip}(\\rho_t(\\theta), 1-\\epsilon, 1+\\epsilon) \\hat{A}_t)$ LCLIP(θ)=Et $min(ρt(θ)A\^t,clip(ρt(θ),1−ϵ,1+ϵ)A\^t)$
这种硬截断虽然有效，但会丢弃高散度/过时样本的梯度信息，同时也不利于离线策略数据的复用。因此，需要一种更具理论依据的正则化手段，能够全面管控散度，且不会丢失高价值的高影响力信号。

（二）R2VPO算法

这一节，将从策略比值policy ratio的角度重新审视trust-region策略优化算法，并将证明，策略散度divergence的局部几何特征均由策略比值policy ratio的方差variance统一决定。这一发现引出了一种简单且具备理论依据的方案，替代裁剪操作：引入方差正则化目标函数来实现稳定参数更新，同时天然支持离线策略数据复用。

从 f-散度到策略比率方差：
- 设πoff\pi_{\text{off}}πoff为离线策略（或上一轮迭代的策略），πθ\pi_\thetaπθ为当前策略。基于f-散度的信任域约束可表示为：Es∼dπoff $Df(πθ(\cdot∣s)∥πoff(\cdot∣s))$ ≤δ\mathbb{E}{s\sim d{\pi_{\text{off}}}} \left $D_f\\big(\\pi_\\theta(\\cdot\|s) \\parallel \\pi_{\\text{off}}(\\cdot\|s)\\big) \\right$ \leq \delta Es∼dπoff $Df(πθ(\cdot∣s)∥πoff(\cdot∣s))$ ≤δ其中散度定义为Df(P∥Q)=Ex∼Q $f(P(x)/Q(x))$ D_f(P \parallel Q) = \mathbb{E}_{x\sim Q}\big $f\\big(P(x)/Q(x)\\big)\\big$ Df(P∥Q)=Ex∼Q $f(P(x)/Q(x))$ ，且映射f:(0,+∞)→Rf: (0, +\infty) \to \mathbb{R}f:(0,+∞)→R为凸函数，满足f(1)=0f(1) = 0f(1)=0。
- 存在命题4.1 ：（f散度的方差近似）
  假定函数fff在ρ=1\rho=1ρ=1处二阶连续可微且满足f(1)=0f(1)=0f(1)=0。则当策略更新量足够小（即ρθ→1\rho_\theta \to 1ρθ→1）时，f散度的均值存在如下二阶近似：Eπoff $Df(πθ∥πoff)$ =f′′(1)2Varπoff $ρθ$ +O(Eπoff $∣ρθ-1∣3$ )\mathbb{E}{\pi\text{off}} \left $D_f(\\pi_\\theta \\parallel \\pi_\\text{off}) \\right$ = \frac{f''(1)}{2} \text{Var}{\pi\text{off}} $\\rho_\\theta$ + \mathcal{O}\left( \mathbb{E}{\pi\text{off}}\left $\|\\rho_\\theta - 1\|\^3 \\right$ \right) Eπoff $Df(πθ∥πoff)$ =2f′′(1)Varπoff $ρθ$ +O(Eπoff $∣ρθ-1∣3$ )
  该命题表明，在ρθ≈1ρ_θ≈1ρθ≈1时，方差近似f-散度具有较高精度，可用于信赖域约束的二阶替代。
下表表示，该性质在整个f-散度族中一致成立

证明：根据定义，策略πθ\pi_\thetaπθ与离线策略πoff\pi_\text{off}πoff间的fff散度可表示为参考策略下的期望：Df(πθ∥πoff)=E(s,a)∼πoff $f(ρθ(a∣s))$ D_f(\pi_\theta \parallel \pi_\text{off}) = \mathbb{E}{(s,a)\sim\pi\text{off}} \big $f(\\rho_\\theta(a\|s))\\big$ Df(πθ∥πoff)=E(s,a)∼πoff $f(ρθ(a∣s))$

其中ρθ(a∣s)=πθ(a∣s)/πoff(a∣s)\rho_\theta(a|s) = \pi_\theta(a|s)/\pi_\text{off}(a|s)ρθ(a∣s)=πθ(a∣s)/πoff(a∣s)。由于假设πθ\pi_\thetaπθ与πoff\pi_\text{off}πoff近似，比值ρθ\rho_\thetaρθ集中在1附近。在ρ=1\rho=1ρ=1处对f(ρ)f(\rho)f(ρ)做二阶泰勒展开 ：f(ρ)=f(1)+f′(1)(ρ−1)+12f′′(1)(ρ−1)2+O(∣ρ−1∣3)f(\rho) = f(1) + f'(1)(\rho - 1) + \frac{1}{2}f''(1)(\rho - 1)^2 + O\left(|\rho - 1|^3\right) f(ρ)=f(1)+f′(1)(ρ−1)+21f′′(1)(ρ−1)2+O(∣ρ−1∣3)

将该展开式代入散度定义并取πoff\pi_\text{off}πoff下的期望，可得：

Eπoff $f(ρθ)$ =f(1)+f′(1)Eπoff $ρθ-1$ +12f′′(1)Eπoff $(ρθ-1)2$ +O(Eπoff $∣ρθ-1∣3$ )\mathbb{E}{\pi\text{off}}\big $f(\\rho_\\theta)\\big$ = f(1) + f'(1)\mathbb{E}{\pi\text{off}} $\\rho_\\theta - 1$ + \frac{1}{2}f''(1)\mathbb{E}{\pi\text{off}}\big $(\\rho_\\theta - 1)\^2\\big$ + O\left(\mathbb{E}{\pi\text{off}}\big $\|\\rho_\\theta - 1\|\^3\\big$ \right) Eπoff $f(ρθ)$ =f(1)+f′(1)Eπoff $ρθ-1$ +21f′′(1)Eπoff $(ρθ-1)2$ +O(Eπoff $∣ρθ-1∣3$ )

由策略比值的构造方式：

Eπoff $ρθ$ =∑aπoff(a∣s)πθ(a∣s)πoff(a∣s)=∑aπθ(a∣s)=1\mathbb{E}{\pi\text{off}} $\\rho_\\theta$ = \sum_a \pi_\text{off}(a|s)\frac{\pi_\theta(a|s)}{\pi_\text{off}(a|s)} = \sum_a \pi_\theta(a|s) = 1 Eπoff $ρθ$ =a∑πoff(a∣s)πoff(a∣s)πθ(a∣s)=a∑πθ(a∣s)=1

由此可知一阶项取值为0：Eπoff $ρθ-1$ =0\mathbb{E}{\pi\text{off}} $\\rho_\\theta - 1$ = 0Eπoff $ρθ-1$ =0。因此该散度的主导项为：

Eπoff $Df(πθ∥πoff)$ =f′′(1)2Eπoff $(ρθ-1)2$ +O(Eπoff $∣ρθ-1∣3$ )\mathbb{E}{\pi\text{off}}\big $D_f(\\pi_\\theta \\parallel \\pi_\\text{off})\\big$ = \frac{f''(1)}{2}\mathbb{E}{\pi\text{off}}\big $(\\rho_\\theta - 1)\^2\\big$ + O\left(\mathbb{E}{\pi\text{off}}\big $\|\\rho_\\theta - 1\|\^3\\big$ \right) Eπoff $Df(πθ∥πoff)$ =2f′′(1)Eπoff $(ρθ-1)2$ +O(Eπoff $∣ρθ-1∣3$ )

最后，由Eπoff $ρθ$ =1\mathbb{E}{\pi\text{off}} $\\rho_\\theta$ =1Eπoff $ρθ$ =1，其二阶中心矩等于方差：

Eπoff $(ρθ-1)2$ =Varπoff $ρθ$ \mathbb{E}{\pi\text{off}}\big $(\\rho_\\theta - 1)\^2\\big$ = \text{Var}{\pi\text{off}} $\\rho_\\theta$ Eπoff $(ρθ-1)2$ =Varπoff $ρθ$
Primal-Dual Formulation原-对偶公式：
- 利用上面的结论，将难以处理的 f-散度约束转化为方差约束优化问题：max⁡θEπoff $ρt(θ)A\^t$ s.t.Eπoff $(ρt(θ)-1)2$ ≤δ \max_\theta \mathbb{E}{\pi{off}} $\\rho_t(\\theta) \\hat{A}_t$ \quad \text{s.t.} \quad \mathbb{E}{\pi{off}} $(\\rho_t(\\theta) - 1)\^2$ \le \delta θmaxEπoff $ρt(θ)A\^t$ s.t.Eπoff $(ρt(θ)-1)2$ ≤δ又由于直接求解方差边界约束问题存在难度。论文采用拉格朗日乘数法，将约束条件转变为惩罚项，把原问题转化为an unconstrained saddle-point problem:
- 定理4.3 （R2VPOR^2VPOR2VPO Primal-Dual Objective）：上面的约束优化问题可写成拉格朗日最小最大问题(Lagrangian min-max problem):min⁡λ≥0max⁡θL(θ,λ)=EπoffρtA\^t−λ((ρt−1)2−δ)(7) \min_{\lambda \ge 0} \max_\theta L(\theta, \lambda) = \mathbb{E}{\pi{off}}\\rho_t \\hat{A}_t - \\lambda((\\rho_t - 1)\^2 - \\delta) \tag{7}λ≥0minθmaxL(θ,λ)=EπoffρtA\^t−λ((ρt−1)2−δ)(7)
  λ\lambdaλ是动态控制方差正则化强度，进行minλmin_\lambdaminλ优化时，根据当前策略θ的表现来决定λ的增减，对于惩罚项−λ((ρt−1)2−δ)- \lambda((\rho_t - 1)^2 - \delta)−λ((ρt−1)2−δ):
  - 方差>δ时 ：惩罚项括号内>0，惩罚项是负数，为了minλmin_λminλ（让L尽量小），λ就会增大，即发现策略违规了，立刻加重惩罚。
  - 方差<δ时 ：惩罚项括号内<0，惩罚项是正数，λ越小，加大的分才会越小，L越小，所以为了minλmin_λminλ（让L尽量小），λ就会减小，即发现策略符合了，立刻减轻惩罚。
- 求该拉格朗日目标函数的梯度为：
  ∇θL(θ,λ)=E(st,at)∼πoff(A\^t−2λ(ρt(θ)−1))⏟Regularized Advantageρt(θ)×∇θlog⁡πθ(at∣st)\nabla_\theta \mathcal{L}(\theta, \lambda) = \mathbb{E}{(s_t,a_t)\sim\pi{\text{off}}} \Bigg\\underbrace{\\Big( \\hat{A}_t - 2\\lambda(\\rho_t(\\theta) - 1) \\Big)}_{\\text{Regularized Advantage}}\\rho_t(\\theta)\\times\\nabla_\\theta \\log \\pi_\\theta\\big(a_t \\mid s_t\\big)\\Bigg∇θL(θ,λ)=E(st,at)∼πoffRegularized Advantage (A\^t−2λ(ρt(θ)−1))ρt(θ)×∇θlogπθ(at∣st)
  其中2λ(ρt(θ)−1)2\lambda(\rho_t(\theta) - 1)2λ(ρt(θ)−1)是一个动态的，实例相关的正则化项，修改原始优势A^t\hat{A}_tA^t的大小,此公式保留了梯度的方向，同时缩放了其大小。
  - 几乎相同时的更新：当策略比率接近1时，惩罚项消失；
  - 显著不同时的更新：当策略比率显著偏离时，惩罚项随偏离线性增长，对高散度的更新进行连续地衰减。
拉格朗日乘数法 ：假设要最大化目标函数 f(x)，约束条件是 g(x)≤c。拉格朗日法会构造一个新的函数 L(x,λ) =f(x)−λ(g(x)−c)。只要对x和λ分别求偏导并令其为0，就能找到最优解。

λ的作用相当于一个动态惩罚系数：当 g(x)试图超过边界 c时，λ会变大，产生很大的负值惩罚，从而把 f(x)拉回来。
Variance Bound on Clipping Error

分析基于方差的方法和裁剪方法的边界误差关系，证明策略比率方差是裁剪误差的上限。
- 定理4.4 （Variance Bound on Clipping Error）：设JUNC(θ)=E(st,at)∼πoff $ρt(θ)A\^t$ \mathcal{J}^{\text{UNC}}(\theta) = \mathbb{E}{(s_t,a_t)\sim\pi{\text{off}}}\left $\\rho_t(\\theta)\\hat{A}_t\\right$ JUNC(θ)=E(st,at)∼πoff $ρt(θ)A\^t$ 是非裁剪方法的目标函数, JCLIP(θ)\mathcal{J}^{\text{CLIP}}(\theta)JCLIP(θ) 是裁剪范围为ϵ\epsilonϵ的裁剪方法目标函数. 假设 πθ\pi_\thetaπθ被πoff\pi_{\text{off}}πoff包含（保证ρt(θ)\rho_t(\theta)ρt(θ)不会出现分子≠0，分母=0的情况）, 满足Eπoff $ρt2$ <∞\mathbb{E}{\pi{\text{off}}}\left $\\rho_t\^2\\right$ < \inftyEπoff $ρt2$ <∞. 则：∣JUNC(θ)−JCLIP(θ)∣≤AmaxϵVar⁡πoff $ρt(θ)$ \left|\mathcal{J}^{\text{UNC}}(\theta) - \mathcal{J}^{\text{CLIP}}(\theta)\right| \leq \frac{A_{\text{max}}}{\epsilon} \operatorname{Var}{\pi{\text{off}}}\left $\\rho_t(\\theta)\\right$ JUNC(θ)−JCLIP(θ) ≤ϵAmaxVarπoff $ρt(θ)$
- 定理4.4为R2VPOR^2VPOR2VPO提供了形式化证明依据：
  - 不等式左边："原始回报"与"PPO硬裁剪后的回报"的差值，即硬裁剪方法原本要防范和纠正的对某些πθ(a∣s)\pi_θ(a|s)πθ(a∣s)的"过度评价误差"。
  - 不等式右边的核心是方差Var⁡πoff $ρ$ \operatorname{Var}{\pi{off}} $\\rho$ Varπoff $ρ$ ，说明策略比率偏离1的离散散度（方差），决定了"过度评价误差"的上限。
  - 所以R2VPOR^2VPOR2VPO最小化方差，由于策略偏离导致的"过度评价误差"也就必然受到压制。
证明：仅当策略重要性采样比率偏离信赖域 $1-ϵ, 1+ϵ$ $1-\\epsilon,\\,1+\\epsilon$ $1-ϵ,1+ϵ$ 时，非裁剪目标与裁剪目标才会产生取值差异。定义两者的绝对偏差为

Δ=∣JUNC(θ)−JCLIP(θ)∣.\Delta = \left|\mathcal{J}^{\text{UNC}}(\theta) - \mathcal{J}^{\text{CLIP}}(\theta)\right|.Δ= JUNC(θ)−JCLIP(θ) .

根据期望的线性性与三角不等式，可得Δ≤Eπoff $∣ρt(θ)A\^t−clip⁡(ρt(θ), 1−ϵ, 1+ϵ)A\^t∣$ .\Delta \leq \mathbb{E}{\pi{\text{off}}}\left $\\left\|\\rho_t(\\theta)\\hat{A}_t - \\operatorname{clip}\\big(\\rho_t(\\theta),\\,1-\\epsilon,\\,1+\\epsilon\\big)\\hat{A}_t\\right\| \\right$ . Δ≤Eπoff $ρt(θ)A\^t−clip(ρt(θ),1−ϵ,1+ϵ)A\^t$ .

利用优势函数的有界性 ∣A^t∣≤Amax|\hat{A}t| \leq A{\text{max}}∣A^t∣≤Amax，将优势项从期望中提出，得到Δ≤Amax⋅Eπoff $∣ρt(θ)-clip(ρt(θ), 1-ϵ, 1+ϵ)∣$ .\Delta \leq A_{\text{max}} \cdot \mathbb{E}{\pi{\text{off}}}\left $\\left\|\\rho_t(\\theta) - \\operatorname{clip}\\big(\\rho_t(\\theta),\\,1-\\epsilon,\\,1+\\epsilon\\big)\\right\| \\right$ . Δ≤Amax⋅Eπoff $ρt(θ)-clip(ρt(θ),1-ϵ,1+ϵ)$ .

裁剪带来的残差项可以改写为∣ρt−clip⁡(ρt, 1−ϵ, 1+ϵ)∣=max⁡ ⁣(0, ∣ρt−1∣−ϵ).\left|\rho_t - \operatorname{clip}(\rho_t,\,1-\epsilon,\,1+\epsilon)\right| = \max\!\big(0,\ |\rho_t - 1| - \epsilon\big).∣ρt−clip(ρt,1−ϵ,1+ϵ)∣=max(0, ∣ρt−1∣−ϵ).

对所有满足 ∣x∣>ϵ|x| > \epsilon∣x∣>ϵ 的实数 xxx，都有如下不等式 ：∣x∣−ϵ≤∣x∣=x2∣x∣≤x2ϵ|x| - \epsilon \leq |x| = \frac{x^2}{|x|} \leq \frac{x^2}{\epsilon}∣x∣−ϵ≤∣x∣=∣x∣x2≤ϵx2

其中最后一步不等式由条件 ∣x∣>ϵ|x| > \epsilon∣x∣>ϵ 推导而来。令 x=ρt−1x = \rho_t - 1x=ρt−1 代入上式，可得max⁡ ⁣(0, ∣ρt−1∣−ϵ)≤(ρt−1)2ϵ\max\!\big(0,\ |\rho_t - 1| - \epsilon\big) \leq \frac{(\rho_t - 1)^2}{\epsilon}max(0, ∣ρt−1∣−ϵ)≤ϵ(ρt−1)2

将该上界代回之前的期望表达式，最终得到Δ≤Amaxϵ⋅Eπoff ⁣ $(ρt(θ)-1)2$ =Amaxϵ⋅Var⁡πoff ⁣ $ρt(θ)$ \Delta \leq \frac{A_{\text{max}}}{\epsilon} \cdot \mathbb{E}{\pi{\text{off}}}\!\left $\\big(\\rho_t(\\theta) - 1\\big)\^2 \\right$ = \frac{A_{\text{max}}}{\epsilon} \cdot \operatorname{Var}{\pi{\text{off}}}\!\left $\\rho_t(\\theta)\\right$ Δ≤ϵAmax⋅Eπoff $(ρt(θ)-1)2$ =ϵAmax⋅Varπoff $ρt(θ)$

（注：当 E $ρt$ =1\mathbb{E} $\\rho_t$ =1E $ρt$ =1 时，E $(ρ-1)2$ \mathbb{E} $(\\rho-1)\^2$ E $(ρ-1)2$ 就是 ρ\rhoρ 的方差）
实现实例：
- On-Policy 训练 (R2VPO-ON) ：类似PPO/GRPO，变量λ可设为:
  - 静态超参数
  - 自适应调整：通过双梯度下降（先升梯度更新θ，再降梯度更新λ），严格约束信任区间满足约束δ。λ←max⁡(0, λ−ηλ(δ−E $(ρt-1)2$ )).(10)\lambda \leftarrow \max\left(0,\ \lambda - \eta_\lambda \left(\delta - \mathbb{E}\left $(\\rho_t - 1)\^2\\right$ \right)\right). \tag{10}λ←max(0, λ−ηλ(δ−E $(ρt-1)2$ )).(10)（对拉格朗日目标函数，公式7的λ求梯度）
- Off-Policy 训练 (R2VPO-OFF) ：利用Replay Buffer D来重用历史数据，
  - 在推理阶段，收集经验元组τ=<q,o,logπoff(o∣q),r,A^>\tau = <q,o,log \pi_off(o|q),r,\hat{A}>τ=<q,o,logπoff(o∣q),r,A^>存入D中；
  - 在训练阶段，从D中采样mini-batches,方差惩罚 (ρt−1)2(\rho_t - 1)^2(ρt−1)2 会自动缩放梯度贡献（新数据全贡献，陈旧数据被软惩罚），有效规避了过时数据的不稳定性，
  - 并支持Actor(负责生成)与Learner（负责模型更新）的异步解耦架构。

三、实验

复杂大语言模型推理 (LLM Reasoning) ：
- 设置：使用 DAPO-Math-17K 数据集，涵盖7个LLM规模（含快思考与慢思考范式），在5个极具挑战性的数学基准（如AIME 2024/2025等）上评估。
- 结果：R2VPO-OFF 实现了最高的宏观平均准确率 46.33%（相对基础模型提升 +35%），显著优于 GRPO (+24%) 等基线。
- 亮点：在Fast Thinking模型上提升尤为显著（例如 Qwen3-1.7B-Fast 提升 +138%），且性能提升与输出文本长度大幅增加同步出现，这表明方差感知优化技术成功让小规模模型具备了更长的推理能力
连续机器人控制 ：
- 设置：DeepMind Control Suite 的10个任务（包含运动和操作）。
- 结果：R2VPO在稀疏奖励任务（如Ball in Cup）中表现出卓越的探索能力（PPO完全无法学习）；在密集奖励任务（如Cheetah Run）中成功防止了PPO在训练后期出现的灾难性性能崩溃。
机制分析 ：
- 自适应约束 ：自适应的 λ\lambdaλ 在训练初期保持接近0（鼓励探索），随着策略发散在后期逐渐增大（保证稳定），表现优于固定 λ\lambdaλ。
- 对陈旧数据的鲁棒性 ：增加Replay Buffer容量时，GRPO性能严重退化，而R2VPO表现出极强的鲁棒性。经验数据显示即使数据高度陈旧，策略比率分布依然紧密集中在 ρt=1\rho_t = 1ρt=1 附近，验证了二阶方差近似在异策略场景下的可靠性。