一句话总结
有的研究认为 RL 时要重点训高熵 token（激发探索），有的则认为要避开它们（干扰优化），关键是双方的实验都能涨点。作者提出 "相对惊喜度" 指标来同时刻画 token 的不确定性与梯度影响，发现这一争论并非矛盾，而是互补：通过 RSI 筛选概率适中的区间，同时获取双方优势，实现更好效果
- 论文标题：Which Tokens Matter? Adaptive Token Selection for RLVR with the Relative Surprisal Index
- 论文地址 ：https://arxiv.org/abs/2606.31575
- 作者背景：阿里巴巴 ModelScope 团队、上海交通大学
一、动机
RLVR 已成为大模型学推理的主流范式，GRPO 是其中最常用的算法：把整条回答中每个 token 一视同仁地拿去更新
近期研究表明，不是每个 token 都值得训练。只在某些重点 token 上，或者避开某些低质 token，能够得到更好的效果。但令人困惑的是，这些研究结论似乎存在冲突：有的研究认为，高熵位置的 token 是关键，应该只训它们；而有的研究认为，低概率词过度主导了模型更新，阻碍了其他关键词的有效学习
| 方向 | 代表 | 主张 | 手段 |
|---|---|---|---|
| 熵派 | Beyond the 80/20 Rule: High-Entropy Minority Tokens Drive Effective Reinforcement Learning for LLM Reasoning | 只有 ~20% 高熵位置承载了大部分学习信号，应只练它们 | 按熵排序、保留 top-20% |
| 概率派 | Do Not Let Low-Probability Tokens Over-Dominate in RL for LLMs | 低概率 token 会引发过大梯度干扰训练 | 降权/屏蔽低概率 token |
尽管这里 "高熵" 与 "低概率" 并不完全等价，前者衡量模型在这个位置有多犹豫（不管最终选了哪个词）后者反映最终选择有多 "意外"，但它们是高度相关的，一派要重点训练的正是另一派要压制的同一批词，戏剧性的是两派在实验上都涨了分
二、解决方法
2.1 相对惊喜度 RSI
作者的思路是，得有一个指标把熵和概率这两件事，捏到一起来看。于是定义了相对惊喜度（Relative Surprisal Index）：被选 token 的 log 概率与分布平均 log 概率之差，再除以熵做归一化：
R S I t = 1 + log π θ ( o t ∣ q , o < t ) H t \mathrm{RSI}t = 1 + \frac{\log \pi\theta(o_t|q,o_{<t})}{\mathcal{H}_t} RSIt=1+Htlogπθ(ot∣q,o<t)
直觉上，RSI 衡量的是：被选中的这个词，相对其所在分布的平均水平，到底有多让人意外
- RSI ∈ (−∞, 1]
- RSI > 0：该 token 比分布均值更容易出现（低惊异）
- RSI < 0：该 token 比均值更意外（高惊异）
值得注意的是，RSI 并非简单的启发式设计，作者做了严格的数学推理证明了它在梯度-熵关系中的精确角色：
d log T t d log H t = 1 R S I t , T t = l o g π θ ( o t ∣ q , o < t ) \frac{d\log \mathcal{T}_t}{d\log \mathcal{H}_t} = \frac{1}{\mathrm{RSI}t}, \mathcal{T}t=log \pi\theta(o_t|q,o{<t}) dlogHtdlogTt=RSIt1,Tt=logπθ(ot∣q,o<t)
- H t \mathcal{H}_t Ht ：位置 t t t 的熵，衡量模型此刻有多不确定
- T t \mathcal{T}_t Tt：被选 token 的 log 概率对 logits 的梯度 ℓ₂ 范数
d log(·) 表示 "相对变化率"，上述公式意为：熵每变动 1%，梯度范数就相应变动 1/RSI，即 RSI 就是 "不确定性（熵）" 与 "梯度幅度" 之间的兑换汇率，它把熵派盯着的熵、和概率派盯着的梯度大小，用一个比值锁在了一起
实证发现绝大多数 token 的 RSI 集中在 1 附近 ------ 真正让模型惊讶的是少数
2.2 token 筛选
有了 RSI 这一新指标，我们就能更全面地挑选更合适的 token 做 RL，方法非常简洁：只保留 RSI 落在某个非对称区间 a, b（a < 0 < b, |a| > b）内的参与梯度更新
- 上界 b：低惊异 token，太好猜、信息量低
- 下界 a：极端高惊异 token，太意外、梯度不稳
- 中间段：既有信息又稳定的 token
注意：在 RSI 指标上应用上下界，并不是简单地框了一个概率固定阈值。如果把 RSI ∈ a, b 换算回概率域后，允许的概率范围是：
e ( a − 1 ) H t ≤ π θ ( o t ) ≤ e ( b − 1 ) H t e^{(a-1)\mathcal{H}t} \leq \pi\theta(o_t) \leq e^{(b-1)\mathcal{H}_t} e(a−1)Ht≤πθ(ot)≤e(b−1)Ht
这意味着每个位置的允许概率区间会随该位置的熵自动伸缩，熵大的位置放得宽，熵小的位置收得紧。这是一种熵自适应的门控机制
实验选用的超参：1.5B 用 −6, 0.95，3B 用 −6, 0.9，7B 用 −6, 0.8
三、实验结果
3.1 基准测试
使用 EasyR1 做分布式训练，仅使用 base 模型（Qwen2.5-1.5/3/7B）做实验（干净地对比 RL 效果），采用 DAPO-MATH-17K 作为主要训练集，在AIME、AMC 基准（2024-2026）上测试，评测指标为独立采样 32 次的平均准确率
对照组就是上述两个流派代表分别提出高熵词优先、低概率词抑制方法，记为熵基准（EB）和 概率基准（PB）
EB：保留熵最高的 20% token 计算 GRPO 损失
PB：根据 token 概率对梯度做线形缩放、单独处理低概率 token 避免其主导梯度
两个基准的平均分统计如下：
| 模型 | GRPO | + EB | + PB | + RSI-S |
|---|---|---|---|---|
| Qwen2.5-1.5B | 12.15 | 11.64 | 11.83 | 14.25 |
| Qwen2.5-3B | 18.53 | 17.86 | 18.32 | 21.83 |
| Qwen2.5-7B | 29.05 | 29.88 | 28.87 | 31.24 |
值得注意的是，EB（熵派）和 PB（概率派）在 1.5B 和 3B 上均未超过原始 GRPO，只有 EB 在 7B 上取得了微弱正增益（+0.83）。而 RSI-S 在所有规模上都稳定正增益，且生成长度更短（平均减少 100--265 token）
3.2 消融
- 对比静态概率阈值
以 3B 为例，固定概率区间 P1=0.1, 0.9 / P2=0.2, 0.8 / P3=0.3, 0.7 都不如 GRPO 基线（下降 2--3 分），证实 RSI 的增益来自熵自适应性而非简单的概率截断
- 上下界缺一不可
去掉上界（RSI-SU, -6, 1）→ +0.61；去掉下界（RSI-SL, -∞, 0.9）→ −0.08。完整双界 → +3.30。两个界分别对应两派的核心主张：上界对标 "高熵派的重点训练"，下界对标 "概率派的稳定性约束"
3.3 规模化影响
最优上界 b 随模型变大而下降（1.5B→0.95，3B→0.9，7B→0.8）。小模型需要更多低惊异 token 做巩固；大模型探索能力更强，太好猜的 token 对它价值更低
3.4 RL-critical token 覆盖率
用 JS 散度找出 RL 前后分布变化最大的 token（高 JS = 被训练真正改动过的关键词），RSI 的覆盖率显著高于纯熵筛选，且在不同 JS 阈值下波动极小
四、局限
- 区间 a, b 的最优值随模型规模变化，未给出自动选取策略
- 实验仅在数学推理（AIME/AMC）上验证，未扩展到代码、自然语言推理等任务
- 计算 RSI 需要在每个 token 位置计算完整的熵（遍历词表），有一定额外开销
五、启发
当看到同一领域里两种明显对立的做法都有效时，别急着站队。很可能两者各自只抓住了现象的一个侧面，背后隐藏着一个被忽略的量能够把它们统一起来