LLM综述系列-RL难样本学习

大语言模型强化学习中的难样本学习：一篇系统性综述

Hard-Sample Learning in Reinforcement Learning for Large Language Models: A Systematic Survey

本综述系统梳理 2024--2026 年间 LLM 强化学习难样本学习（hard-sample learning / difficulty-aware RL）的 56 篇代表性工作，提出统一分类法，详述各类方法、剖析不足、指明未来方向。

摘要（Abstract）

强化学习（尤其 RLVR，带可验证奖励的强化学习）已成为提升大语言模型（LLM）推理能力的核心技术，但其训练效率与能力上限高度依赖于如何处理不同难度的训练样本 。在主流的 GRPO（组相对策略优化）框架下，一个被反复采样仍全对（太简单）或全错（太难）的样本会产生零方差、零优势、零梯度------既浪费算力，又使训练停滞。如何识别、筛选、调度、乃至改造这些"难样本"，构成了一个活跃而碎片化的研究领域。本综述系统梳理 2024--2026 年间的 56 篇代表性工作，提出一个五维分类法：(1) 样本过滤与动态采样；(2) 课程学习与难度递进；(3) 难度感知数据选择与可学性；(4) 工业技术报告；(5) 富反馈 / On-Policy Distillation / 自蒸馏。我们详述各类的代表方法与演进脉络，并通过横向分析揭示贯穿全领域的六大方法论问题：理论扎堆与机制换壳、off-policy 难度漂移、过滤 vs 保留的路线之争、缺乏等算力对照、难度代理缺因果验证、以及数学/Qwen 过拟合。我们特别指出两个未解的核心争论：(a) 一个独立结论"中等难度（成功率≈0.5）最优"被四篇工作用四种证法反复证明，却被 from-scratch RL 下"难样本应上权重"的反例挑战；(b) "丢弃全错难样本"（DAPO/GRESO）与"保留甚至上权重难样本"（ReLIFT/LUFFY）两条路线直接冲突，无人给出判据。新增的 RLTF/OPD/OPSD 路线则提示：难样本不仅要被选择或加权，更需要从单 bit 奖励升级到文本反馈、privileged context 和 token-level teacher signal。最后我们提出若干未来方向，包括在线难度漂移追踪、难样本"过滤vs保留"的可恢复性判据、超越"中等难度最优"的阶段自适应理论、以及难度代理的可靠性审计。

1. 引言（Introduction）

1.1 什么是 LLM RL 中的"难样本"问题

在用 RL 提升 LLM 推理能力时，训练数据（数学题、代码题等）的难度对模型而言千差万别：有些题模型几乎总能答对（太简单），有些几乎总答错（太难），有些成功率居中（中等难度）。"难样本学习"研究的核心问题是：面对难度异质的训练数据，应该如何识别、筛选、调度、加权、乃至生成样本，才能最高效地提升模型能力？ 特别地，"难样本"（hard samples）通常指对当前模型而言成功率低的样本------它们既可能蕴含最大的学习价值（模型最需要提升的地方），也可能是 RL 无法利用的（采不到正确答案、零学习信号）。

1.2 难样本问题的根源：GRPO 的零优势陷阱

难样本问题的数学根源在于主流算法 GRPO 的组内归一化优势机制。GRPO 对每个问题采样一组输出，用组内相对奖励估计优势：

A^i=ri−mean(r)std(r)\hat{A}_{i} = \frac{r_i - \text{mean}(\mathbf{r})}{\text{std}(\mathbf{r})}A^i=std(r)ri−mean(r)

当一组采样全对（rir_iri 全为 1）或全错（全为 0）时，组内标准差为 0、优势为 0------该样本不产生任何梯度 。而"全对"恰对应太简单的样本、"全错"恰对应太难的样本。这就是贯穿全领域的核心痛点：两端的极端难度样本都是"零优势"的无效样本，而 RL 训练需要的是"既非全对也非全错"的中等难度样本来提供有效梯度。难样本学习的各类方法，本质上都是在回答"如何处理这两端的零优势样本、如何获得更多有效的中等难度梯度"。

1.3 本综述的贡献与组织

贡献：

统一分类法：把 56 篇工作组织为五大类，并提炼出"处理难样本的七条技术路线"。
演进脉络：梳理每类方法的演化逻辑（如过滤：事后→事前→补救）。
批判性横向分析：揭示六大贯穿全领域的方法论问题，而非罗列方法。
争论剖析：直面"中等难度最优 vs 难样本上权重""过滤 vs 保留"两大未解争论。

组织：第 2 节形式化；第 3 节分类法；第 4--7 节详述传统四大类；第 7.5 节补充富反馈/蒸馏新路线；第 8 节横向分析；第 9 节未来方向；第 10 节结论。

2. 背景与问题形式化（Background & Formulation）

2.1 GRPO 与组内归一化优势

GRPO $01$ （DeepSeekMath 提出）去掉 PPO 的 value 网络，用同一问题的一组采样的相对奖励估计优势（见 §1.2 公式），成为 LLM 推理 RL 的事实标准。其高效性（无需 critic）使大规模 RL 可行，但组内归一化也埋下了难样本问题的种子。

2.2 零方差/零优势：难样本问题的数学本质

如 §1.2，全对/全错样本的组内方差为 0 → 优势为 0 → 零梯度。实证发现（DAPO $02$ ）：随训练进行，全对样本（已学会的简单题）越来越多 ，导致每个 batch 的有效样本越来越少、梯度方差变大。这使"过滤零优势样本、补充有效样本"成为刚需。Dr.GRPO $03$ 进一步指出，组内标准差归一化 还会引入难度偏置（不同难度题的 std 不同，导致梯度贡献不均）。

2.3 难度的度量与"中等难度最优"

如何度量样本难度？主流是 model-aware pass rate ------用模型采样多次的成功率作为难度代理（成功率越低越难）。一个被反复证明的核心结论是"中等难度（成功率 p≈0.5）最优 "：Online Difficulty Filtering $15$ 从 KL 方差下界证明、SPEED-RL $25$ 从梯度信噪比证明、CurES $17$ 从梯度收敛率证明、E2H $11$ 从样本复杂度证明------四种证法殊途同归（这种"理论扎堆"本身是一个值得警惕的现象，见 §8.1）。直觉是：二项分布方差 p(1−p)p(1-p)p(1−p) 在 p=0.5p=0.5p=0.5 时最大，中等难度样本的梯度信号最强。

2.4 评价维度

本综述用以下维度评价方法（也是第 8 节批判依据）：

有效性：是否真提升训练效率/能力上限（需 iso-compute 对照）；
难度度量的可靠性：难度代理是否反映真实可学性（需因果验证）；
漂移处理：是否处理难度随策略演化的 off-policy 漂移；
对难样本的态度：丢弃 / 保留 / 改造 / 引导；
泛化性：是否跨域、跨模型、跨规模；
超参负担：难度阈值、采样比例、调度参数是否需大量调。

3. 分类法（Taxonomy）

我们沿**"对难样本采取的核心动作"将 56 篇工作分为五大类（A--E），它们又对应七条技术路线**：

复制代码

处理难样本的七条技术路线：
① 过滤     ------ 丢弃零优势（全对全错）样本        [02,05,07]
② 课程     ------ 按难度从易到难调度               [10-28 大半]
③ 数据选择 ------ 精选高可学性样本                 [29,32,37,40,41]
④ 引导/补救 ------ 对最难样本注入外部信号           [08,28,38,27]
⑤ 重加权   ------ 改变难样本的梯度权重             [03,20,35]
⑥ 生成/改造 ------ 以难样本为种子合成/改写新题      [19,39]
⑦ 富反馈/蒸馏 ------ 用文本反馈/privileged context/token teacher signal 补足稀疏奖励 [54-56]

五大类定义：

A. 样本过滤与动态采样（§4，9篇）：识别并过滤零优势样本，或补救最难样本。
B. 课程学习与难度递进（§5，19篇）：按难度从易到难调度训练，含大量"中等难度最优"理论与自适应课程。
C. 难度感知数据选择与可学性（§6，13篇）：用 learnability/影响函数/互信息等度量精选高价值样本，含"少即是多"与外部引导。
D. 工业技术报告（§7，12篇）：大公司的难度采样工程实践与立场。
E. 富反馈 / On-Policy Distillation / 自蒸馏（§7.5，3篇）：把全错样本从单 bit 失败信号转化为文本 critique、privileged context 或 token-level teacher supervision。

核心张力（贯穿全领域）：

中等难度最优 vs 难样本上权重（§2.3 vs Asymmetric $35$ ）：取决于训练阶段/绝对难度？
过滤 vs 保留（DAPO $02$ 丢弃 vs ReLIFT $08$ /LUFFY $38$ 保留）：取决于难样本的可恢复性？
静态难度标签 vs 漂移：难度随能力变，但多数方法用静态标签。

4. 样本过滤与动态采样（Sample Filtering & Dynamic Sampling）

本类直接处理 §2.2 的零优势问题：识别并过滤全对/全错样本，补充有效梯度样本。

4.1 问题的提出：零优势样本

GRPO $01$ 确立了组内归一化优势，也埋下零优势隐患。Dr.GRPO $03$ 指出 GRPO 的 std 归一化引入难度偏置，主张移除以回归无偏------这代表一种立场：难度不应隐式地进入优化目标。

4.2 事后过滤与事前预测

DAPO $02$ （字节）：提出 Dynamic Sampling ------过采样后过滤掉 accuracy=0/1（全对全错）的 prompt，持续重采样直到 batch 填满有效梯度样本。这是"事后过滤"（rollout 后才判断丢弃）。
GRESO $05$ （CMU）：改进为"事前预测"------利用"无信息 prompt 跨 epoch 的时间一致性"，在 rollout 之前就预测并跳过零优势样本，避免浪费 rollout 算力。

4.3 离线难度过滤

Open-Reasoner-Zero $07$ （StepFun）在数据准备阶段用 LLM 评估难度，离线剔除极端 pass rate（太易/太难）的样本------与 DAPO 的在线 batch 级过滤形成"离线 vs 在线"对照。

4.4 难样本的补救而非丢弃

一个重要的反向思路：最难样本（全错）不应被丢弃，而应被补救：

ReLIFT $08$ （北大）：对 RL 学不会的最难题，在线收集高质量解答做 SFT，与 RL 交替------"RL 学不会的用 SFT 补"。
VAPO $06$ （字节）：用 value-based 路线，对单个样本也能给非零优势，从架构上回避零优势问题。

4.5 实证立论：RL 是否扩展能力边界

Does RL Really Incentivize Reasoning? $09$ （清华）用 pass@k（大 k） 实证：RLVR 主要提升采样效率，对 base 模型本就答不出的难题（全错），RLVR 并不能赋予新能力。这为"丢弃全错样本"（它们确实学不会）和"用 SFT/外部信号补救"都提供了依据，是难样本领域的重要立论背景。

4.6 小结与不足

本类确立了"过滤零优势样本"的标准做法，演进为事后→事前→补救。但不足：

过滤 vs 保留的矛盾（§8.3）：DAPO 丢弃最难样本，ReLIFT 保留补救，无判据。
缺 iso-compute 对照：DAPO 动态采样要过采样（多花算力），GRESO 的"省算力"也需 iso-FLOPs 验证。
GRESO 的危险正反馈：跳过零方差样本→不训练→继续零方差，可能永久驱逐最难题。
$09$ 的 pass@k 结论可能受 cherry-pick 的 k 值/任务影响（用"广撒网"的大 k 评判被训成"精准"的 RLVR 模型，部分是指标伪影）。

5. 课程学习与难度递进（Curriculum Learning & Difficulty Progression）

本类最大（19篇），核心是按难度从易到难调度训练，使难样本在模型建立能力后变得可学。

5.1 "中等难度最优"的理论支柱

四篇工作从不同角度证明"中等难度（p≈0.5）最优"：

Online Difficulty Filtering $15$ （NAVER/KAIST）：证明期望策略提升的下界 = 任务成功率方差，p=0.5 时方差最大。
SPEED-RL $25$ （Berkeley/CMU）：从梯度估计信噪比证明中等难度最优。
CurES $17$ （中科院/百度）：从梯度收敛率证明。
E2H $11$ （Texas A&M）：从样本复杂度界证明课程学习优于直接学。

⚠️ 这种"四篇证一个初等结论"的理论扎堆，本身揭示了领域的增量内卷（见 §8.1）。

5.2 自适应课程与在线难度估计

难度随能力变化，故需自适应：

AdaRFT $12$ （USC）：按近期奖励动态调整目标难度，维持"有挑战但可解"。
PCL $16$ （Meta/Cornell）：用 value 模型 on-policy 预测难度，避免昂贵 rollout。
SPEED-RL $25$ 、Difficulty-targeted Selection $26$ （NeurIPS）：高效难度估计（后者用注意力相似度外推全量难度）。
逆向课程 R³ $10$ （复旦，ICML'24）：从正确示范末端起步逐步前移，以"起点到答案的距离"作连续难度旋钮。
E2H $11$ 、FastCuRL $23$ （腾讯，上下文长度作难度维度）：显式 easy-to-hard 调度。

5.3 课程作为学习问题：bandit 与 self-paced

把"选哪个难度"建模为学习问题：

SEC $13$ （Mila）：课程选择 = 非平稳多臂老虎机，用绝对优势作学习增益。
DUMP $14$ （Rutgers）：分布级 UCB 课程，用 |advantage| 作 learnability。
SPaCe $24$ （Deakin）：self-paced + 聚类降冗余。

这三者本质是"GRPO 训练信号当 learnability + bandit/过滤"的同构换壳（见 §8.1）。

5.4 难度的代理信号：方差、长度、优势

VCRL $18$ （阿里）：用 rollout 组奖励方差作难度（方差大=中等难度）。
FastCuRL $23$ （腾讯）：用上下文/prompt 长度作难度代理。
DARO $20$ （北大）：揭示 GRPO 变体都是难度加权，提出动态难度重加权。

5.5 难样本的改造与引导

不丢弃难样本，而是改造使其可学：

CLPO $19$ （北大/阿里）：模型自重构问题（中等题多样化、难题简化）。
Progressive Mastery/CCL $27$ （复旦/字节）、GHPO $28$ （华为）：用 Guided Prompting / 混合模仿 对难题注入提示引导。
ADCL/EGSR $22$ （中兴）：周期性难度重估 + 专家引导自我改写。
AdaCuRL $21$ （高德）：自适应课程 + 无效样本缓解 + 历史回访。

5.6 小结与不足

本类提供了丰富的难度调度方法，但不足最突出：

理论扎堆（§8.1）：四篇证同一个"中等难度最优"。
机制换壳（§8.1）：bandit/过滤的同构变体扎堆，增量创新不足。
off-policy 漂移（§8.2）：难度标签静态，训练中失效------除 ADCL $22$ 周期重估外少有处理。
难度代理可靠性存疑（§8.5）：长度=难（FastCuRL）、方差=难（VCRL）、相似=难（ $26$ ）都是易被反例攻破的相关性假设。
引导/改造的信息泄漏（ $27$ $28$ ）：Guided Prompting 制造训练-测试不一致，benchmark 增益可能虚高。

6. 难度感知数据选择与可学性（Difficulty-Aware Data Selection & Learnability）

本类不在线调度，而是用"样本价值"度量精选训练数据，或引入外部信号/合成数据攻克难题。

6.1 少即是多：高价值样本选择

LIMR $29$ （上交/GAIR）：提出 Learning Impact Measurement，1389 条精选样本超过 8523 全量------"少即是多"。
One-Shot RLVR $37$ （UW/微软，NeurIPS）：单个样本就把 MATH500 从 36%→73.6%------把"少即是多"推到极限。
Select2Reason $41$ （HKUST）：难度感知奖励 + trace 长度选样，10% 数据达全量。

⚠️ LIMR/1-shot 的"魔法样本"是事后选择（跑完全量训练才知道哪个有用），"少即是多"是结论非可前瞻的方法（见 §8.6）。

6.2 超越难度启发式：影响函数与互信息

质疑"pass-rate/长度=价值"，用更本质的度量：

Influence Functions $40$ （Mila，NeurIPS-WS）：用影响函数定义数据质量，批判难度/长度只是间接信号。
CROPI $32$ （清华/智谱）：用影响函数估样本贡献，多阶段 curriculum。
InSight $31$ ：加权互信息，把不确定性分解为难度相关 + 证据相关，批判"难度=信息量"。
sGPO $33$ （Red Hat/IBM）、DARE $30$ （Rutgers）：offline 成功率/协同演化难度估计。

6.3 反主流：给难样本更高权重

Asymmetric Prompt Weighting $35$ （TUM/USC）：反主流 地论证 from-scratch RL 下应给低/零成功率的难样本更高权重 ------直接挑战"中等难度最优"，指出难样本价值是场景依赖的。
AR3PO $34$ （Amazon）：给难题动态分配更多 rollout + 响应复用。

6.4 引入外部信号攻克难题

对 RL 学不会的难题引入外部信号（保留派的核心手段）：

LUFFY $38$ （上海AI Lab/西湖）：用 off-policy 推理轨迹让弱模型攻克纯 on-policy 完全失败的难题------是对 $09$ "RL 不扩展边界"的反驳（off-policy 引导可扩展）。

6.5 难样本驱动的数据合成

SwS $39$ （微软/UCLA）：把"持续学不会"的难题当弱点种子 ，提取概念合成针对性新题强化薄弱区。

6.6 小结与不足

本类把难样本研究从"过滤/调度"推向"价值度量与生成"，但不足：

事后选择（§8.6）：LIMR/1-shot 的样本选择不可前瞻。
难度代理缺因果（§8.5）：影响函数被称"causal"实为局部线性近似（术语通胀）；跨模型不迁移=实用性命门。
外部信号=变相蒸馏：LUFFY 本质是在线蒸馏，对标无外部信号的 RLVR 不公平。
SwS 自举悖论：弱模型合成自己弱点题的质量与答案可验证性存疑，引入奖励噪声。
数学/Qwen 过拟合（§8.6）：几乎全部只在数学验证。

7. 工业实践（Industrial Practice）

12 篇大公司技术报告呈现出难度采样的工业共识与立场分歧。

7.1 难度采样的工业共识

pass rate 难度过滤 + 课程 + zero-advantage 过滤已成全球工业级推理 RL 的标准配置：

Kimi k1.5 $43$ （Moonshot）：难度采样讨论最充分------Curriculum Sampling（先易后难）+ Prioritized Sampling（按 1−成功率采样难题） ，pass rate 作难度代理。Kimi K2 $44$ 延续 moderate difficulty 原则。
MiniMax-M1 $45$ ：pass@10 区间过滤（数学 0--0.9），复用 DAPO dynamic sampling。
Skywork-OR1 $52$ ：Model-Aware 难度估计专章 + 离线/在线过滤------难度处理最系统、数据全开源。
Seed1.5-Thinking $48$ （字节）：难度过滤 + 课程 + 方差筛选 + DAPO 动态采样 + 超难题合成，A/B 类方法工业落地最集中。
Magistral $53$ （Mistral）：两阶段 goldilocks 难度过滤，第二阶段用 RL 后更强模型重估难度------少数正面处理 off-policy 漂移的报告。
Ring-lite $51$ （蚂蚁）：三阶段难度对齐 + SHARP 合成难题。
DeepSeek-R1 $42$ ：难度处理相对粗放（拒绝采样为主，无显式难度课程）。
Qwen2.5-Math $46$ /Qwen3 $47$ ：RM 引导 self-improvement / 难度下限过滤（剔除无需 CoT 能答对的过易题）。
AReaL $50$ 、Hunyuan-Large $49$ ：难度采样非重点（系统侧/通用模型，属背景对照）。

7.2 pass-rate 难度代理及其漂移问题

工业界普遍用 model-aware pass rate 作难度代理，但几乎都是静态标签 （SFT 模型或离线一次估计）。RL 中 policy 持续漂移，标签迅速失效------仅 Magistral $53$ （两阶段重估）、Ring-lite $51$ 部分处理，绝大多数报告回避。这是工业实践与学术方法共同的最大硬伤（§8.2）。

7.3 过滤过易 vs 过滤过难 vs 丢弃最难的立场分歧

工业报告间存在未经论证的立场冲突：

Qwen3 $47$ ：过滤过易（剔除无需推理能答对的题）；
Kimi/MiniMax $43$ $45$ ：过滤两端（保留中等）；
Magistral $53$ ：第二阶段丢弃仍无解的最难题；
保留派（学术）ReLIFT/LUFFY $08$ $38$ ：保留最难题并补救。

没有报告提供证据自证其方向选择优于他者------这反映了"重结果轻机制论证"的工业报告通病。

7.5 富反馈 / On-Policy Distillation / 自蒸馏（Rich Feedback & On-Policy Distillation）

新增的 E 类（54-56）与前四类的切入点不同：它不主要问"样本该不该选、丢、加权"，而是问 当样本很难、二值 reward 没有信息时，能否给它更高密度的反馈。

RLTF $54$ ：把训练信号从 scalar/binary reward 扩展为文本反馈。对全错样本，外部 judge 可以给出 critique（错在哪里、如何改），模型再通过 self-distillation 或 feedback modeling 内化反馈。
OPD/AOPD $55$ ：让 student 在自己的 on-policy rollout 上接受 teacher 的 token-level feedback。AOPD 进一步指出，零/负优势区域直接做负强化低效，应改用局部 divergence minimization 进行纠偏。
OPSD/SOPD $56$ ：同一个模型在 student 条件（只看题）与 teacher 条件（看 privileged context，如标准答案/SOP/参考轨迹）之间自蒸馏，在 student 自己的轨迹上提供 dense token supervision。

这条路线对业务对话 RL 尤其重要。很多真实难样本并不是"题目太难"，而是流程分支、合规规则、工具卡片、信息缺失等局部决策错了。全局 0 分无法说明错误位置；文本反馈和 token/segment-level teacher signal 可以把"全错样本"转成可学习的监督。

8. 横向分析：贯穿全领域的方法论问题（Cross-cutting Issues）

跳出单类方法，我们识别出六个贯穿全领域、被系统性忽视的方法论问题------这是综述最具批判性的部分。

8.1 理论扎堆与机制换壳（Theory Crowding & Mechanism Reskinning）

问题：Online Difficulty Filtering $15$ 、SPEED-RL $25$ 、CurES $17$ 、E2H $11$ 用 KL 下界 / 信噪比 / 梯度收敛 / 样本复杂度四种证法反复证明同一个初等结论"中等难度（p≈0.5）最优" ------这是典型的增量内卷。另一方面，SEC $13$ 、DUMP $14$ 、VCRL $18$ 、SPaCe $24$ 、AdaCuRL $21$ 本质是"用 GRPO 训练信号（优势/方差）当 learnability + bandit/过滤/课程"的同构换壳 。

影响：领域充斥重复造轮子，真正的范式创新稀缺。

8.2 off-policy 难度漂移（Difficulty Drift）

问题：难度（pass-rate/方差/长度）几乎都是静态估计 （SFT 模型或离线一次打标），但 RL 中 policy 持续漂移，标签迅速失效------一道训练前标为"难"的题，训练几步后可能已变"中等"。除 Magistral $53$ 、ADCL $22$ 外几乎无人正面处理 。

影响：训练在过时的难度标签上，课程调度/过滤决策基于错误信息------这是全领域最普遍的硬伤。

8.3 过滤 vs 保留的路线之争（Filter vs Keep）

问题：DAPO $02$ /GRESO $05$ 丢弃全错（最难）样本（零优势、省算力），ReLIFT $08$ /LUFFY $38$ /Asymmetric $35$ 主张保留甚至上权重难样本。两条路线直接冲突，无人给出"何时该丢、何时该留"的判据 。本质问题：一道当前全错的难题，是"暂时不会、值得训"还是"根本超纲、丢了好"？

影响：实践者只能凭经验选边，缺乏原则性指导。

8.4 缺乏等算力对照（No Iso-Compute Comparison）

问题：难度估计（额外 rollout）、动态采样（过采样）、MC 优势都消耗额外算力。"省 N 倍样本/步数"常把开销搬到别处 （离线标注/聚类预处理，如 SPaCe 的 100× 是误导；ORZ/DAPO 的"1/10 步数"未含 critic/过采样成本）。

影响：增益无法归因到方法本身（更好的难样本处理）还是单纯的算力投入。

8.5 难度代理缺因果验证（Difficulty Proxy without Causal Validation）

问题：pass-rate、方差、长度、相似度外推都是难度的相关性代理 ，无一验证与"真实可学性"的因果关系。"长=难"（FastCuRL $23$ ）、"方差=难"（VCRL $18$ ）、"相似=难度相似"（Difficulty-targeted $26$ ）等假设都易被反例攻破；影响函数被称"causal"（ $40$ $32$ ）实为局部线性近似（术语通胀）。

影响：方法可能在优化错误的难度信号。

8.6 数学/Qwen 过拟合与事后选择（Overfitting & Post-hoc Selection）

问题：几乎全部工作只在数学 + Qwen 小模型 验证，跨域（代码/科学/通用推理）、跨模型族（Llama/Mistral）、跨规模的泛化存疑。此外，LIMR $29$ /One-Shot RLVR $37$ 的"魔法样本"是跑完全量训练后事后挑的 ------"少即是多"是结论而非可前瞻的方法。

影响：大量"普适"结论可能是数学+Qwen 特化的伪普适；"少即是多"不可前瞻则无实用价值。

小结：六个问题相互关联------理论扎堆/机制换壳（8.1）暴露创新乏力 ；off-policy 漂移（8.2）、难度代理缺因果（8.5）指向难度信号本身不可靠 ；过滤vs保留（8.3）是未解的核心争论 ；缺等算力对照（8.4）、事后选择/过拟合（8.6）指向实证证据不可靠。它们共同构成本领域从"经验驱动的方法繁荣"走向"严谨可归因的科学"必须跨越的障碍。

9. 未来方向（Future Directions）

基于上述横向问题，我们指出若干有前景的方向（详见配套 IDEAS_AAAI.md）：

在线难度漂移追踪（针对 8.2）：把难度建模为随策略演化的时变量，用重要性采样 + Bayesian filtering 实时追踪，给静态难度标签的整类方法一个即插即用的修复。
"过滤 vs 保留"的可恢复性判据（针对 8.3）：定义难样本的"可恢复性"（弱引导下能否产生非零正确率），据此把全错样本分流------可恢复的进引导通道，不可恢复的暂时丢弃并定期复检。
超越"中等难度最优"的阶段自适应理论（针对 8.1）：证明最优难度分布不是固定的 p≈0.5，而是随训练阶段移动（早期偏难破冰、后期偏中等精炼），统一 curriculum 与 prioritized 的矛盾。
等算力公平基准（针对 8.4）：建立含全部难度估计/采样开销的 iso-FLOPs 基准与"难度感知效率前沿"，戳破"省 X 倍"的算力搬运。
因果可学性的前瞻样本价值度量（针对 8.5+8.6）：用因果效应（而非相关性代理）前瞻估计样本对整体能力的贡献，区分"过拟合价值"与"泛化价值"，把"少即是多"从事后选择升级为可前瞻方法。
奖励试错-恢复的难样本训练（呼应 Kimi 洞见）：把难样本从"学不会就丢"重构为"训练自我纠正能力的载体"，奖励"从错误中恢复"的轨迹，给保留派一个无需外部蒸馏的纯 RL 方案。
难样本机制的解耦与因子化消融（针对 8.1）：把方法分解为"难度信号×选择算子×利用方式"三正交模块，做因子化实验，揭示哪些机制真正重要、哪些是冗余堆叠。
跨域跨模型迁移性研究（针对 8.6）：系统检验难样本方法的外部效度，揭示多少结论是数学+Qwen 特化。
可验证的难样本定向合成（针对 SwS 自举悖论）：强制合成题可验证（符号检查/代码执行），针对性合成当前策略的中等难度题，解决难样本稀缺。
难度代理可靠性审计基准（针对 8.5）：构造带真实可学性金标准的探针集，审计 pass-rate/方差/长度等代理的因果忠实度。

10. 结论（Conclusion）

LLM 强化学习中的难样本学习，源于一个朴素而深刻的事实：在 GRPO 框架下，太简单（全对）和太难（全错）的样本都是零优势的无效样本，而高效训练需要恰当难度的有效梯度。围绕这一事实，本综述将 56 篇工作组织为五大类------样本过滤与动态采样、课程学习与难度递进、难度感知数据选择、工业实践、富反馈/在策略蒸馏------并提炼出处理难样本的七条技术路线：过滤、课程、数据选择、引导补救、重加权、生成改造、富反馈/蒸馏。

然而横向分析表明，这个看似繁荣的领域存在深层问题：四篇工作用四种证法反复证明同一个"中等难度最优"（理论扎堆），大量方法是 bandit/过滤的同构换壳（机制换壳），难度标签普遍存在未处理的 off-policy 漂移，方法对比缺乏等算力控制，难度代理缺乏因果验证，结论多在数学+Qwen 上过拟合。更根本的是，两个核心争论至今未解："中等难度最优"是否普适 （vs from-scratch 下难样本应上权重），以及全错难样本该过滤还是保留。

我们认为，难样本学习正处在从**"方法繁荣"走向 "科学严谨"**的转折点。未来最有价值的工作，不是再提出一个新的难度调度器或过滤规则，而是回答更基础的问题：难度该如何随策略漂移被实时追踪？一个全错难样本何时值得保留、何时该丢？最优难度是固定的还是随训练移动的？难度代理与真实可学性的因果关系是什么？当二值 reward 失效时，应该给难样本什么形式的富反馈？在线漂移追踪、可恢复性判据、阶段自适应理论、因果可学性度量、富反馈蒸馏，以及等算力基准与代理审计，是跨越这一转折的关键。

附录 A：56 篇论文一览表

#	论文	类别	来源	对难样本的核心动作
01	DeepSeekMath/GRPO	A	DeepSeek'24	组相对优势（零优势问题之源）
02	DAPO	A	字节'25	Dynamic Sampling 过滤全对全错
03	Dr.GRPO	A	COLM'25	移除 std 归一化的难度偏置
04	PRIME	A	'25	准确率过滤+稠密过程奖励
05	GRESO	A	'25	rollout 前预测跳过零优势
06	VAPO	A	字节'25	value-based 回避零优势
07	Open-Reasoner-Zero	A	StepFun'25	离线难度过滤
08	ReLIFT	A	ICLR'26	最难题 SFT 补救（保留派）
09	Does RL Incentivize	A	'25	pass@k 实证：RL 不扩展难题边界
10	R³	B	ICML'24	逆向课程（起点距离作难度）
11	E2H	B	ICLR'26	easy-to-hard + 样本复杂度理论
12	AdaRFT	B	'25	自适应目标难度
13	SEC	B	'25	课程=非平稳 bandit
14	DUMP	B	'25	分布级 UCB 课程
15	Online Difficulty Filtering	B	EACL'26	方差下界证中等难度最优
16	PCL	B	'25	value 模型 on-policy 估难度
17	CurES	B	ICLR'26	梯度收敛证中等难度最优
18	VCRL	B	阿里'25	方差作难度
19	CLPO	B	北大/阿里'25	问题自重构
20	DARO	B	北大'25	难度感知动态重加权
21	AdaCuRL	B	高德'25	自适应课程+无效样本缓解+回访
22	ADCL/EGSR	B	中兴'25	周期重估难度漂移+专家改写
23	FastCuRL	B	腾讯 EMNLP'25	上下文长度作难度
24	SPaCe	B	'25	self-paced+聚类
25	SPEED-RL	B	Berkeley'25	信噪比证中等难度最优
26	Difficulty-targeted Selection	B	NeurIPS'25	注意力相似度外推难度
27	Progressive Mastery/CCL	B	复旦'25	Guided Prompting 降难度
28	GHPO	B	华为'25	难题模仿+引导混合
29	LIMR	C	上交'25	学习影响度量（少即是多）
30	DARE	C	Rutgers'26	协同演化难度估计
31	InSight	C	'26	加权互信息（难度+证据）
32	CROPI	C	清华/智谱'25	影响函数选样
33	sGPO	C	RedHat'26	offline 成功率=1/group size
34	AR3PO	C	Amazon'25	难题多 rollout+响应复用
35	Asymmetric Weighting	C	TUM/USC'26	反主流：难样本上权重
36	Prompt Replay	C	Leiden'26	on-policy prompt 复用
37	One-Shot RLVR	C	UW NeurIPS'25	单样本激发推理
38	LUFFY	C	上海AI Lab'25	off-policy 引导攻克难题（保留派）
39	SwS	C	微软'25	弱点驱动难题合成
40	Influence Functions	C	Mila NeurIPS-WS'25	因果影响选数据
41	Select2Reason	C	HKUST'25	难度+长度选样
42	DeepSeek-R1	D	DeepSeek'25	拒绝采样（粗放）
43	Kimi k1.5	D	Moonshot'25	Curriculum+Prioritized 采样
44	Kimi K2	D	Moonshot'25	moderate difficulty
45	MiniMax-M1	D	'25	pass@10 区间过滤
46	Qwen2.5-Math	D	阿里'24	RM 引导 self-improvement
47	Qwen3	D	阿里'25	难度下限过滤（剔过易）
48	Seed1.5-Thinking	D	字节'25	五项难度机制全栈
49	Hunyuan-Large	D	腾讯'24	指令演化增难（背景对照）
50	AReaL	D	蚂蚁'25	异步系统（背景对照）
51	Ring-lite	D	蚂蚁'25	三阶段难度对齐+SHARP 合成
52	Skywork-OR1	D	昆仑万维'25	Model-Aware 难度估计专章
53	Magistral	D	Mistral'25	两阶段 goldilocks（处理漂移）
54	RLTF	E	'26	文本反馈把全错样本转成 critique/改进信号
55	OPD/AOPD	E	'26	on-policy token 级 teacher feedback，缓解零/负优势
56	OPSD/SOPD	E	'26	privileged context 自蒸馏，给全错样本稠密监督

附录 B：方法演化时间线

复制代码

2024 ── GRPO[01]（组相对优势，零优势问题之源）
        R³[10]逆向课程、AlphaMath式MCTS、Qwen2.5-Math[46]
2025 上─ DAPO[02]（Dynamic Sampling 过滤全对全错）→ GRESO[05]（事前预测）
        DeepSeek-R1[42]/Kimi k1.5[43]（工业难度采样实践）
        Online Difficulty Filtering[15]/SPEED-RL[25]/CurES[17]（"中等难度最优"理论扎堆）
        LIMR[29]/One-Shot RLVR[37]（少即是多）、LUFFY[38]（off-policy引导）
2025 下─ 自适应课程（AdaRFT[12]/SEC[13]/DUMP[14]）、VCRL[18]/FastCuRL[23]（难度代理）
        ReLIFT[08]/GHPO[28]/CLPO[19]（补救/改造难样本）
        Skywork-OR1[52]/Seed1.5[48]/Magistral[53]（工业全栈难度处理）
2026 ── E2H[11]/CurES[17]/ADCL[22]（ICLR'26，自适应+漂移处理）
        Asymmetric Weighting[35]/DARE[30]/InSight[31]（反思期：质疑"中等最优"、协同演化）
        → 反思期：理论扎堆被察觉、off-policy 漂移与等算力对照成焦点