偏离主路径：RLVR在参数空间中的非主方向学习机制

大语言模型强化学习训练中的一个长期谜题即将被解开。为什么RLVR（Reinforcement Learning with Verifiable Rewards）似乎只修改了极少数参数却能带来显著的推理性能提升？这篇来自Meta AI的突破性研究揭示了稀疏性背后的真相------这并非真正的稀疏，而是一种深层的"模型条件优化偏置"。通过提出创新的三门理论，研究团队首次从参数空间角度系统解释了RLVR的学习动态，为理解强化学习与监督微调的本质差异提供了全新视角。

论文标题： The Path Not Taken: RLVR Provably Learns Off the Principals
来源： arXiv:2511.08567 + https://arxiv.org/abs/2511.08567

PS: 整理了LLM、量化投资、机器学习方向的学习资料，关注同名公众号「 AI极客熊」即刻免费解锁

文章核心

研究背景

随着大语言模型在复杂推理任务中的应用日益广泛，如何有效提升模型推理能力成为研究热点。RLVR作为一种新兴的强化学习范式，通过可验证的奖励信号显著改善了模型的数学推理和代码生成能力。然而，一个令人困惑的现象是：RLVR似乎只修改了模型中极小比例的参数，却能够带来显著的性能提升。这种"稀疏更新"与"显著增益"之间的矛盾引发了研究界的广泛关注。传统观点认为这种稀疏性反映了某种参数选择的效率，但其背后的机制仍缺乏深入理解。

研究问题

当前研究中存在三个关键挑战：

稀疏性悖论：RLVR训练过程中观察到的参数更新稀疏性与实际性能提升之间的矛盾机制尚不明确，需要深入分析这种表面稀疏性背后的真实动态。
优化路径差异：RLVR与传统监督微调（SFT）在参数空间中的优化路径存在本质差异，但缺乏系统性的参数级表征和理论解释。
方法迁移适用性 ：现有的参数高效微调（PEFT）方法主要基于SFT时代的设计理念，直接将其应用于RLVR可能存在根本性的不匹配问题。

主要贡献

本研究的主要创新性贡献下：

首次提出三门理论：创新性地构建了包含KL锚定、模型几何引导和精度隐藏的三门理论框架，从机制层面解释了RLVR的学习动态，揭示了稀疏性表象下的优化偏置本质。
参数级学习动态表征：首次提供了RLVR在参数空间中的详细学习动态表征，证明RLVR通过偏离主方向的学习策略，实现最小谱漂移、减少主子空间旋转和非主方向更新对齐。
优化机制差异化分析：系统揭示了RLVR与SFT在优化机制上的本质区别，证明RLVR在完全不同的优化机制下工作，为设计几何感知的RLVR专用算法奠定基础。

方法论精要

三门理论框架

研究团队提出的三门理论为理解RLVR的学习机制提供了系统性框架，该理论从三个相互关联的层面解释了RLVR的优化动态：

第一道门：KL锚定（Gate I: KL Anchor）

KL锚定机制构成了RLVR优化的基础约束。在RLVR训练过程中，KL散度约束确保模型更新不会偏离原始预训练模型过远。具体而言，优化目标可以表示为：

max ⁡ π E τ ∼ π [ R ( τ ) ] − β D K L ( π ∥ π r e f ) \max_{\pi} \mathbb{E}{\tau \sim \pi} [R(\tau)] - \beta D{KL}(\pi \| \pi_{ref}) maxπEτ∼π[R(τ)]−βDKL(π∥πref)

其中 π \pi π表示当前策略， π r e f \pi_{ref} πref为参考策略（通常是预训练模型）， R ( τ ) R(\tau) R(τ)为轨迹奖励， β \beta β为KL约束系数。这种约束机制天然地将更新限制在原始模型附近的特定参数区域，形成了第一道"门"的过滤效应。

第二道门：模型几何引导（Gate II: Model Geometry）

模型几何引导是三门理论的核心创新，它解释了为什么RLVR更新会偏离主方向。研究团队发现，预训练模型的参数空间几何结构具有显著的非均匀性特征：

高曲率主方向：对应模型中最重要的特征表示方向，这些方向的修改会导致模型性能的剧烈变化
低曲率非主方向：相对"安全"的修改方向，在这些方向上的调整对模型整体性能影响较小

RLVR的优化动态天然倾向于避开高曲率的主方向，而选择低曲率的谱保持子空间进行更新。这种偏好可以通过Hessian矩阵的特征值分布来解释：

H = ∇ 2 L ( θ ) H = \nabla^2 \mathcal{L}(\theta) H=∇2L(θ)

其中 θ \theta θ为模型参数， L \mathcal{L} L为损失函数。Hessian矩阵的特征值 λ 1 ≥ λ 2 ≥ . . . ≥ λ n \lambda_1 \geq \lambda_2 \geq ... \geq \lambda_n λ1≥λ2≥...≥λn对应不同方向的曲率，RLVR倾向于在特征值较小的方向上进行更新。

第三道门：精度隐藏（Gate III: Precision）

精度隐藏机制解释了为什么RLVR的更新在统计上表现为稀疏性。在使用bfloat16等低精度数值格式进行训练时，数值精度限制会导致许多微小更新在存储层面"消失"：