【文献阅读 ICML 2026】RL算法：Critique-GRPO

标题：Advancing LLM Reasoning with Natural Language and Numerical Feedback

Critique-GRPO：通过自然语言和数值反馈提升LLM推理能力

• arxiv: 2506.03106v7 | ICML 2026
• GitHub: https://github.com/zhangxy-2019/critique-GRPO

一、背景

基于数值反馈的在线强化学习使LLM能够通过试错机制(trial-and-error)学习，大幅提升了推理能力。然而，纯数值反馈的RL存在三大核心局限：

1. 性能停滞：即使扩大8倍数据或延长训练，性能依然遇颈；
2. 自发反思无效：模型自发产生的"顿悟时刻"对实际解题成功率贡献微乎其微；
3. 持续失败：约29%的训练问题在大量迭代后依然持续出错。

虽然密集型中间奖励能部分缓解前两个问题，但数值反馈本质上缺乏解释力，无法告知模型"为何错"及"如何改"。自然语言反馈（NLF）能提供明确指导，但现有方法多依赖SFT模仿静态点评，缺乏在线探索与实时自适应能力。针对"能否将点评机制融入在线RL框架，让LLM同时从自然语言与数值反馈中学习？ "这一研究空白，论文提出了 Critique-GRPO。该框架采用双重机制：

1. 标准生成学习：通过常规探索生成初始回答；
2. 评判引导优化学习 ：基于奖励系统生成的点评，通过上下文学习进行自我优化。
   同时，框架优先考虑初始回答以防止熵爆炸，并引入策略塑形函数（shaping函数）增强有效但少见的优化方案。

---

二、方法

Critique-GRPO 构建于 GRPO（Group Relative Policy Optimization）之上，其核心思想是将"初始回答"和"点评引导的修正回答"统一纳入在线策略优化中。

(一) Critique-GRPO 算法流程

Step 1: Initial Response Sampling (初始回答采样)

对于查询 qqq，模型πold\pi_{old}πold采样 nnn 个初始回答 {y(i)}i=1n\{y^{(i)}\}{i=1}^n{y(i)}i=1n。奖励系统评估这些回答，生成点评 {c(i)}i=1n\{c^{(i)}\}{i=1}^n{c(i)}i=1n 和标量奖励 {R(i)}i=1n\{R^{(i)}\}_{i=1}^n{R(i)}i=1n（正确为1，错误为0）。

• 点评支持两种形式：
  • 基于规则(与标准答案的字符串匹配结果：R(i)=is_equivalent(y(i),yGT)R(i) = \text{is\equivalent}(y(i), y{\text{GT}})R(i)=is_equivalent(y(i),yGT))的启发式点评：
    • 指示性点评Indicative critiques：(cI(i))(c_I^{(i)})(cI(i))仅提供二元正误判定信号；
    • 带标准答案的指示性点评带GT：(cGT(i))(c_{GT}^{(i)})(cGT(i))包含最终答案；
  • 基于模型的CoT点评（逐步骤评估）：(cCoT(i))(c_{CoT}^{(i)})(cCoT(i))由奖励模型πRM\pi_{RM}πRM生成cCoT(i)∼πRM(⋅∣Ic,q,y(i))c_{CoT}^{(i)} \sim \pi_{RM}(·|I_c,q,y^{(i)})cCoT(i)∼πRM(⋅∣Ic,q,y(i))，IcI_cIc是点评指令，末尾给出正误判定标签。
    
    

Step 2: Critique-Guided Self-Refinement (点评引导的自我优化)

为提高计算效率，仅当初始回答集合{y(i)}i=1n\{y^{(i)}\}_{i=1}^n{y(i)}i=1n中完全没有正确解时 ，才启动优化机制。

模型基于"问答-回复-评价"三元组(q,y(i),c(i))(q, y^{(i)}, c^{(i)})(q,y(i),c(i))和优化指令IrefineI_{refine}Irefine 通过上下文学习生成优化回答 yrefined(i)∼πold(⋅∣Irefine,q,y(i),c(i))y_{refined}^{(i)} \sim \pi_{old}(·|I_{refine},q,y^{(i)},c^{(i)})yrefined(i)∼πold(⋅∣Irefine,q,y(i),c(i))，并对其打分获得 Rrefine(i)R_{refine}^{(i)}Rrefine(i)。

为避免优化回答对模型πold\pi_{old}πold带来的巨大分布偏移导致熵爆炸，算法从优化回答中采样一个子集 {yrefined(i′)}i′=1k\{y_{refined}^{(i')}\}_{i'=1}^k{yrefined(i′)}i′=1k（优先采样正确解），与初始回答混合形成最终训练组：

Ymix={y(i)}i=1n∪{yrefined(i′)}i′=1kY_{mix} = \{y^{(i)}\}{i=1}^n \cup \{y{refined}^{(i')}\}_{i'=1}^kYmix={y(i)}i=1n∪{yrefined(i′)}i′=1k

Step 3: Online Policy Optimization (在线策略优化)

利用由初始回复和优化后回复构成的混合数据集对模型进行微调,总优化目标为初始回答损失与优化回答损失之和：

JCritique-GRPO(θ)=Jinit(θ)+Jrefi(θ)J_{Critique\text{-}GRPO}(\theta) = J_{init}(\theta) + J_{refi}(\theta)JCritique-GRPO(θ)=Jinit(θ)+Jrefi(θ)

Jinit(θ)=Eq∼Q,{y(i)}i=1n∼πold(⋅∣q)1n∑i=1n∑t=1∣y(i)∣min⁡(rt(i)(θ)A\^t(i), clip(rt(i)(θ),1−ϵ,1+ϵ)A\^t(i))J_{\text{init}}(\theta) = \mathbb{E}{q\sim Q,\{y^{(i)}\}{i=1}^n\sim\pi_{\text{old}}(\cdot|q)}\left\\frac{1}{n}\\sum_{i=1}\^n\\sum_{t=1}\^{\|y\^{(i)}\|}\\min\\left(r_t\^{(i)}(\\theta)\\hat{A}_t\^{(i)},\\ \\text{clip}\\big(r_t\^{(i)}(\\theta),1-\\epsilon,1+\\epsilon\\big)\\hat{A}_t\^{(i)}\\right)\\right Jinit(θ)=Eq∼Q,{y(i)}i=1n∼πold(⋅∣q) n1i=1∑nt=1∑∣y(i)∣min(rt(i)(θ)A^t(i), clip(rt(i)(θ),1−ϵ,1+ϵ)A^t(i))

Jrefi(θ)=Eq∼Q,{yrefined(i′)}i′=1k∼πold(⋅∣q)1k∑i′=1k∑t=1∣yrefined(i′)∣min⁡(ρt(i′)(θ)A\^t(i′), clip(ρt(i′)(θ),1−ϵ,1+ϵ)A\^t(i′))J_{\text{refi}}(\theta) = \mathbb{E}{q\sim Q,\{y{\text{refined}}^{(i')}\}{i'=1}^k\sim\pi{\text{old}}(\cdot|q)}\left\\frac{1}{k}\\sum_{i'=1}\^k\\sum_{t=1}\^{\|y_{\\text{refined}}\^{(i')}\|}\\min\\left(\\rho_t\^{(i')}(\\theta)\\hat{A}_t\^{(i')},\\ \\text{clip}\\big(\\rho_t\^{(i')}(\\theta),1-\\epsilon,1+\\epsilon\\big)\\hat{A}_t\^{(i')}\\right)\\rightJrefi(θ)=Eq∼Q,{yrefined(i′)}i′=1k∼πold(⋅∣q) k1i′=1∑kt=1∑∣yrefined(i′)∣min(ρt(i′)(θ)A^t(i′), clip(ρt(i′)(θ),1−ϵ,1+ϵ)A^t(i′))

关键形式化改进 1：统一的优势计算

为确保统一的基线，初始回答和优化回答的优势 A^t\hat{A}tA^t 均使用混合集 YmixY{mix}Ymix 的奖励均值计算：

A^t(i/i′)=R(i/i′)−mean({R(i)}i=1n∪{Rrefine(i′)}i′=1k)\hat{A}t^{(i/i')} = R^{(i/i')} - \text{mean}\left(\{R^{(i)}\}{i=1}^n \cup \{R_{refine}^{(i')}\}_{i'=1}^k\right)A^t(i/i′)=R(i/i′)−mean({R(i)}i=1n∪{Rrefine(i′)}i′=1k)

关键形式化改进 2：策略塑形

• 对于初始回答Jinit(θ)J_{\text{init}}(\theta)Jinit(θ)，使用标准概率比率 rt(i)(θ)r_t^{(i)}(\theta)rt(i)(θ)。

• 对于优化回答Jrefi(θ)J_{\text{refi}}(\theta)Jrefi(θ)，由于它们是通过上下文学习生成的（偏离了当前策略 πθ\pi_\thetaπθ），直接使用标准比率会导致梯度不稳定。

  因此，算法引入了塑形函数(shaping function )来定义优化回答的概率比率 ρt(i′)(θ)\rho_t^{(i')}(\theta)ρt(i′)(θ)：

  ρt(i′)(θ)=πθ(yrefined,t(i′)∣q,yrefined,<t(i′))πθ(yrefined,t(i′)∣q,yrefined,<t(i′))+γ(0<γ<1)\rho_t^{(i')}(\theta) = \frac{\pi_\theta(y_{refined,t}^{(i')}|q, y_{refined,<t}^{(i')})}{\pi_\theta(y_{refined,t}^{(i')}|q, y_{refined,<t}^{(i')}) + \gamma} \quad (0 < \gamma < 1)ρt(i′)(θ)=πθ(yrefined,t(i′)∣q,yrefined,<t(i′))+γπθ(yrefined,t(i′)∣q,yrefined,<t(i′))(0<γ<1)

  数学意义 ：该函数将概率比率限制在 (0,1)(0, 1)(0,1) 之间。

  • 当某 token 在当前策略 πθ\pi_\thetaπθ 下的概率较低（即模型不熟悉但优化回答中包含的正确推理模式）时，γ\gammaγ 项会放大其梯度权重；
  • 当概率较高时，权重趋于正常。这使得模型能高效吸收"罕见但正确"的推理模式。

  同时，算法移除了KL散度惩罚 ，以允许策略向这些优化轨迹进行实质性的更新。

  

  

---

三、实验

实验设置

• 数据：从 OpenR1-Math-220k 重组子集中随机采样 4k 样本作为训练集。
• 评测基准：5个数学生成基准（MATH-500, Minerva-MATH, OlympiadBench, AMC23, AIME24/25）+ 3个科学/通用OOD基准。
• 对比方法：SFT类（SFT, RAFT, RefinementFT等）和 RL类（R1-GRPO, R1-Dr.GRPO）。

实验结果

1. NLF显著增强在线RL：Critique-GRPO在所有任务上均超越基线。在 Qwen2.5-7B-Base 上平均 Pass@1 较 R1-GRPO和R1-Dr.GRPO 提升 +4.4%，在 Qwen3-8B 上提升 +3.8%。
2. 在线优化优于离线方法：远超基于静态数据的 RefinementFT 和 CITL-FT。
3. CoT点评效果最佳：丰富的逐步骤点评比简单的指示性点评带来 +1.8~2.4% 的额外提升。

以数学为中心的骨干模型研究

在 Qwen2.5-Math-7B-Base 上，仅用 4k 数据，Critique-GRPO 就实现了 +21.6% 的平均 Pass@1 提升，大幅超越需要 46k 数据的纯数值反馈方法（如 PRIME-Zero），证明了自然语言信用分配在数据效率上的压倒性优势。

通过自我批判实现自我提升

利用模型自身作为奖励模型生成CoT点评。在 Qwen3-8B 上，自我点评机制比 R1-GRPO 平均提升 +4.5%，在 AIME24 任务上 Pass@1 提升高达 +16.7%，展现了强大的纯自我迭代进化能力。

策略探索研究

维持高熵探索 ：标准 GRPO 会出现熵崩塌，而 Critique-GRPO 能够维持更高的策略熵，表明自然语言反馈能引导模型探索到常规标量奖励无法触及的高质量优化轨迹。

索**：标准 GRPO 会出现熵崩塌，而 Critique-GRPO 能够维持更高的策略熵，表明自然语言反馈能引导模型探索到常规标量奖励无法触及的高质量优化轨迹。