📖标题：Double-Rollout Reinforcement Learning with Sampling-based Reward Estimation
🌐来源：arXiv, 2610.16593v1
🛎️文章简介
🔸研究问题：在训练大模型进行数学或代码推理时，如果模型靠猜蒙对了答案但推理过程很烂，或者推理过程正确但最后算错了，传统的强化学习奖励机制会给出错误的信号，导致模型学歪，如何解决这种奖励噪声带来的训练不稳定？
🔸主要贡献：论文提出了一种"双重 rollout"强化学习方法，通过截断推理过程并采样多个后续步骤来估算更真实的推理质量奖励，在仅适度增加计算成本的情况下，显著提升了模型的准确率和令牌效率。
📝重点思路
🔸识别奖励不可靠性：研究发现，即使验证器完美，短且正确的推理轨迹往往包含大量低质量思考（靠运气猜对），而长且错误的轨迹可能包含高质量思考。传统方法给前者高奖励、后者低惩罚，导致模型学习到错误的模式。
🔸双重 Rollout 算法核心：对于每个生成的推理轨迹，保留前90%的内容，从该截断点开始采样生成8个不同的后续 continuation。
🔸基于采样的奖励估计：计算这8个后续 continuation 的平均验证得分，用这个平均分替换原始轨迹的最终奖励。这能更稳健地评估当前推理路径的真实潜力，而非仅仅看最终结果。
🔸单向轨迹替换策略：如果原始轨迹最终答案错误，但经过双重 Rollout 评估后获得了正优势（说明推理方向正确），则用其中一个正确的 continuation 替换原始轨迹进行训练；反之，如果答案正确但评估分低（说明是蒙的），则保留原样予以惩罚，防止模型学会瞎猜。
🔸结合长度奖励优化效率：将上述方法与基于长度的奖励机制结合，只对那些被确认为"可靠正确"的短轨迹给予额外奖励，避免模型为了缩短长度而牺牲准确性，从而优化准确率与计算成本的帕累托前沿。
🔎分析总结
🔸准确率显著提升：在 Qwen 和 Nemotron 等多个模型家族及数学、代码任务上，该方法均优于基线 GRPO。例如，Nemotron-3-Nano-30B 模型在 AIME 2026 测试中达到了 95.4% 的准确率，远超同尺寸模型的现有水平。
🔸训练效率更高：尽管单步计算成本约增加一倍，但由于每一步提供的训练数据质量更高，模型达到最佳准确率所需的 RL 训练步数大幅减少，整体抵消了部分计算开销。
🔸超参数鲁棒性强：实验表明，保留 90% 的推理轨迹并采样 8 次是一个性价比极高的平衡点；即使只采样 2 次也能带来显著收益，且算法对截断比例不敏感。
🔸打破效率权衡困境：与传统长度惩罚导致模型"变短但变笨"不同，该方法能在保持高准确率的同时有效缩短推理长度，实现了更优的准确率-效率平衡。
💡个人观点
论文利用"多次采样取平均"这种统计学思想来解决强化学习中的信用分配难题，本质是看思路是不是真的靠谱。
