大语言模型的训练长期被一条隐性的分界线划分为两个阶段。预训练阶段，模型从海量文本中学习语言的统计规律和世界知识。后训练阶段，模型被调整以对齐人类的偏好和特定的任务目标。在后训练阶段中，强化学习扮演着越来越核心的角色，它使模型能够在没有逐词标注的情况下，通过奖励信号自主探索更优的生成策略。
在DeepSeek的模型体系中，强化学习的地位被推到了一个前所未有的高度。DeepSeek-R1的发布标志着大规模强化学习在推理任务中的核心地位得以确立，而支撑这一突破的算法基础，是一种名为群组相对策略优化的方法。这个方法并不是对既有强化学习框架的微小修补，它在优势估计的机制上做出了根本性的改变，使强化学习训练在长链推理场景中变得可行且高效。
本文沿着这条算法演进的脉络展开，文章先分析近端策略优化在大模型场景中遭遇的结构性瓶颈，再拆解群组相对策略优化的数学形式与工程实现，然后讨论规则奖励的设计逻辑及其带来的稳定性挑战，接着还原DeepSeek从V3基座到R1的多阶段训练流程，最后梳理这一范式对后续算法演进的影响。
第一章 近端策略优化在大模型场景中的结构性瓶颈
1.1 价值网络的成本结构
近端策略优化长期以来是大语言模型强化学习微调的主流算法。它的核心是一种策略梯度方法，通过裁剪机制限制策略更新的幅度，防止策略发生破坏性的剧烈变化。但近端策略优化在大模型场景中有一个绕不开的负担：它需要训练一个与策略模型规模相当的价值网络来估计优势函数。
价值网络的职责是预测从当前状态出发的期望累积奖励。在传统的强化学习任务中，状态空间相对有限，价值网络可以是一个较小的独立模型。但在大语言模型的场景中，状态是已经生成的词元序列，状态空间随序列长度指数增长，价值网络不得不与策略模型保持相当的规模才能覆盖这个空间。这意味着显存占用和计算开销几乎翻倍，训练的工程成本显著上升。
1.2 长链推理中的价值估计失效
比成本更棘手的是价值估计在长链推理中的可靠性问题。近端策略优化中的价值网络需要根据已生成的部分内容来预测最终的累积奖励。在短序列任务中，这种预测的误差可控。但在长链推理任务中，模型可能在生成过程中反复修正、自我否定，早期的推理内容和最终答案之间的关联性非常弱。
一个推理模型可能在第一步提出了一个假设，在第十步推翻了这个假设，在第二十步又回到了类似的方向但做了关键修正，最终在第五十步给出了答案。价值网络在第十步时看到的是一个已经被推翻的中间状态，它很难从这个状态准确预测第五十步的最终奖励。这种预测误差会沿着时间步累积，导致优势估计的方差增大，训练信号的可靠性下降。
1.3 优势估计的方差困境
优势函数的本质是实际奖励与基线之间的差值。基线的作用是降低方差，使策略梯度的估计更稳定。近端策略优化使用价值网络作为基线，当价值网络的估计准确时，方差确实被有效降低。但当价值网络在长序列中失准时，基线本身变成了一个噪声源，优势估计的方差反而被放大。
方差问题在训练早期尤为突出。在数学和代码这类奖励稀疏的任务中，策略模型在早期很少生成完全正确的输出，绝大多数样本的奖励为零。如果基线估计不准确，零奖励样本的优势值可能为正也可能为负，取决于价值网络的随机误差。这使得策略更新方向变得混乱，训练可能在早期就陷入停滞或发散。
第二章 群组相对策略优化的数学重构
2.1 从价值估计到群组比较
群组相对策略优化的核心思路是用组内相对比较替代价值网络的绝对估计。对于每一个问题，算法从旧策略中采样一组输出，然后比较这组输出之间的奖励差异，而不是去预测每个输出的绝对期望奖励。
这个转变的直觉并不复杂。如果一组输出中有正确答案也有错误答案，那么正确答案相对于错误答案的优势是明确的，不需要一个外部模型来告诉策略什么是好什么是坏。组内比较直接提供了策略更新的方向信号，而这个信号不依赖于任何额外的价值网络。
2.2 优势估计的归一化形式
群组相对策略优化的优势估计使用了组内奖励的标准化。对于问题q采样得到的G个输出，每个输出的奖励为r_i，优势A_i的计算方式是将该输出的奖励减去组内奖励的均值，再除以组内奖励的标准差。
这个归一化操作使优势值的均值为零、标准差为一。均值归零意味着组内优于平均的输出获得正优势，劣于平均的输出获得负优势，策略被推向往组内相对较好的方向更新。标准差归一化则消除了不同问题之间奖励尺度差异的影响。有的问题奖励范围是零到一，有的问题是零到十，如果不做归一化，奖励尺度大的问题会主导梯度的方向，而标准化使每个问题的贡献被均衡化。
2.3 目标函数的完整形式
群组相对策略优化的目标函数在保留近端策略优化裁剪机制和参考模型KL正则的基础上，将价值函数项替换为组内优势估计。
目标函数对每个问题采样的一组输出取平均，每个输出内部对词元序列取平均。对于每个词元，计算新旧策略的概率比值，乘以该输出的优势值，并应用裁剪。裁剪的作用是限制单次更新的幅度，防止策略在一步之内偏离旧策略太远。同时，目标函数中加入了策略模型与参考模型之间的KL散度惩罚。KL惩罚的系数控制策略偏离参考模型的程度，它的存在防止策略在追求奖励的过程中逐渐退化，生成偏离语言模型分布的输出。
KL散度的计算方式在不同实现中存在差异。有些实现使用标准的KL估计，有些使用k3估计器。k3估计器的形式是指数对数差减一，它是非负的且方差较低，在KL作为损失的一部分被最小化时，非负性是一个重要的性质。
2.4 无需价值网络带来的效率收益
取消价值网络带来的最直接收益是显存占用和计算开销的大幅下降。价值网络的参数量与策略模型相当，在训练过程中它需要独立的前向传播和反向传播，占用与策略模型近似同等的显存和计算资源。去掉价值网络后，这部分资源被释放出来，可以用于增大批量大小、延长采样序列或提升模型规模。
DeepSeek公开的数据显示，群组相对策略优化在DeepSeek-Math和DeepSeek-R1中取得了突破性成果，相比近端策略优化显著提升了训练效率和稳定性。在MATH任务上的对比实验显示，近端策略优化需要仔细调参，特别是广义优势估计中的系数，才能接近群组相对策略优化的效果，而后者在默认配置下即可获得较好的表现。
第三章 规则奖励系统的设计逻辑与内在张力
3.1 为什么选择规则奖励而非神经奖励模型
DeepSeek-R1的奖励系统有一个明确的设计选择：在推理任务上不使用神经奖励模型，无论是基于结果的还是基于过程的，而是使用基于规则的奖励。这个选择的原因值得仔细分析。
神经奖励模型通常是在人类偏好数据上训练的，它学习的是人类评判者认为什么样的回答更好。但在数学和代码这类有确定性答案的任务中，人类偏好数据本身存在噪声，不同评判者对同一个推理过程的评价可能不一致，而且人类评判者也可能被流畅但错误的推理所误导。规则奖励绕开了这个问题，它直接检查答案的正确性，不依赖于人类的主观判断。
3.2 准确性奖励与格式奖励的分工
规则奖励系统由两个部分组成：准确性奖励和格式奖励。
准确性奖励检查回答是否正确。对于有确定性结果的数学问题，模型被要求以特定格式提供最终答案，例如将答案放在方框内，规则系统解析这个格式并比对答案。对于代码竞赛题，编译器被用来运行模型生成的代码并执行预定义的测试用例，根据测试通过率生成客观的正确性反馈。
格式奖励则强制执行特定的格式要求。模型被激励将推理过程封装在指定的标签内，例如思考标签。这个设计的目的不是让答案更好，而是让推理过程可被显式地分离和观察。当推理过程和最终答案被标签隔开时，后续的分析可以单独审查推理路径的合理性，而不被最终答案的正确与否所干扰。
两个奖励以相同的权重相加，构成规则奖励的总和。
3.3 离散奖励的梯度问题
规则奖励有一个容易被忽视的代价：它是离散的。准确性奖励通常是二值的，正确得一，错误得零。格式奖励也是二值的。当一组输出的奖励全部相同，例如全部为零或全部为一，组内奖励的标准差为零，归一化操作失去意义，优势值无法计算或全部为零。
在训练早期，策略模型在困难问题上很少生成完全正确的输出，组内奖励可能全部为零。此时组内比较无法提供有效的梯度信号，模型在困难样本上的学习被抑制。即使模型在某些困难样本上进行了有意义的探索，由于奖励的离散性和组内的一致性，这些探索产生的梯度信号极其微弱。
学术研究系统地观察到了这个问题。离散奖励会导致梯度异常、优化不稳定和收敛缓慢。在原始群组相对策略优化中，梯度既可能出现消失，也可能出现爆炸。低方差奖励下，组内奖励分布经常是同质的，标准化操作面临低方差放大、均值中心化盲区和零方差坍缩三种病态。
3.4 对离散奖励的缓解策略
针对离散奖励的稳定性问题，后续研究提出了多种缓解策略。
ReDit在离散奖励信号上叠加简单的随机噪声，使扰动后的奖励在整个学习过程中持续提供探索性梯度，从而实现更平滑的梯度更新和更快的收敛。实验显示，ReDit在仅使用约百分之十训练步数的情况下达到与原始群组相对策略优化相当的性能，在相同训练时长下还有约百分之四的性能提升。
另一条思路是调整归一化的方式。标准的群组相对策略优化使用均值和标准差同时进行归一化，但在低方差场景下标准差接近零会导致数值不稳定。一些变体改用绝对偏差而非标准差，或者对标准差设置下界，以避免除零和梯度爆炸。
奖励塑形是第三条思路。与其完全依赖二值的准确性奖励，可以在训练过程中引入渐进式的奖励信号，例如根据答案的接近程度给予部分奖励，或者根据推理步骤的逻辑一致性给予中间奖励。但这需要精心设计，避免引入新的奖励破解风险。
第四章 从基座模型到推理模型的多阶段训练流程
4.1 DeepSeek-R1-Zero：纯强化学习的验证
DeepSeek-R1-Zero是这条训练路线上最具标志性的实验。它在DeepSeek-V3-Base基座模型上直接应用强化学习，不使用任何监督微调数据，仅依靠基于规则的奖励和群组相对策略优化。
这个实验的结果打破了一个被广泛接受的假设：模型需要先经过人类标注的思维链微调，才能学会推理。DeepSeek-R1-Zero在纯强化学习的训练过程中，自发涌现出了长链式思考、自我反思、自我验证和动态策略适应等高级推理模式。在整个训练过程中，模型展现出了思考时间的稳步增加，这种增加完全由内在适应驱动，而非外部修改。
在AIME 2024数学竞赛上，DeepSeek-R1-Zero的Pass@1得分达到了百分之七十一点零，在MATH-500上达到了百分之九十五点九。这个结果证明，强化学习本身足以激发基座模型中潜藏的推理能力，而不需要人类预先示范应该如何推理。
但DeepSeek-R1-Zero也存在明显的局限。纯强化学习训练出的模型在可读性和语言一致性方面表现不佳，推理过程可能混杂多种语言，输出格式不够规范。这些局限促使了从R1-Zero到R1的多阶段改进。
4.2 冷启动与多阶段迭代
DeepSeek-R1的训练流程并非一步到位，而是包含多个阶段的迭代。第一阶段是监督微调，使用高质量标注数据对基座模型进行初步调整，为后续的强化学习奠定基础。这个阶段的数据包括冷启动数据，用于引导模型形成基本的推理格式和语言一致性。
第二阶段是推理导向的强化学习。在这个阶段，群组相对策略优化被应用于数学、编程等结构化任务，奖励由基于规则的准确性检查和格式检查构成。这个阶段的目标是强化模型在确定性任务上的推理能力。
第三阶段是拒绝采样与监督微调。模型生成大量的推理样本和通用任务样本，通过奖励模型的筛选机制对输出进行评分排序，仅选取最高分的样本用于后续的监督微调。这个阶段的目的是将强化学习获得的推理能力泛化到更广泛的任务类型，包括写作、角色扮演等开放域任务。
第四阶段是最终的强化学习。在这个阶段，群组相对策略优化再次被应用，但奖励信号更加复杂，结合了基于结果的奖励和人类偏好模型，进一步优化模型的有用性、无害性和社会适应性。
4.3 四个阶段的协同效应
这四个阶段不是简单的串联，而是一种协同演进。监督微调提供了初始的格式和语言能力，使强化学习不至于从零开始摸索。推理导向的强化学习在确定性任务上建立了可靠的推理模式。拒绝采样将推理能力迁移到开放域，避免了强化学习只适用于数学和代码的局限。最终的强化学习在更广泛的奖励信号下完成对齐，使模型既能推理，也能以符合人类期望的方式表达。
DeepSeek-R1的增量训练成本给出了这条流程的经济性参考。R1-Zero训练使用六百四十八块H800图形处理器，耗时约一百九十八小时，成本约二十点二万美元。监督微调数据创建约一万美元，R1后续训练约八点二万美元，增量训练总成本约二十九点四万美元。这个成本不包含基座模型的训练成本，但即使全部加总，也远低于行业对顶级模型训练动辄数千万美元的预期。
第五章 训练基础设施的工程支撑
5.1 异步调度的四模块架构
群组相对策略优化的训练效率不仅取决于算法本身，还取决于支撑算法运行的基础设施。DeepSeek的强化学习训练基础设施被划分为四个模块，模块之间采用异步调度和显存动态卸载策略。
Rollout模块负责用推理引擎批量采样响应。它使用vLLM工作节点执行生成，是训练流程中吞吐量最大的环节。Inference模块负责加载奖励模型和参考模型进行前向推理，计算奖励和KL散度中的参考概率。Rule-based Reward模块负责计算代码执行结果、答案匹配等规则奖励。Training模块负责完成策略梯度的计算和参数更新。
异步调度的核心价值在于让四个模块的计算重叠起来。当Rollout模块在采样新一批输出时，Training模块可以在上一批数据上执行梯度更新，Inference模块可以并行计算奖励。这种流水线式的重叠使图形处理器的利用率保持在较高水平，减少了等待时间。
5.2 采样效率的工程优化
采样是强化学习训练中最耗时的环节之一。每个训练步骤需要对每个问题采样多个输出，而长链推理的输出长度可能达到数千个词元。为了加速采样，Rollout模块使用了多词元预测组件进行自投机解码，缩短最长样本的生成耗时。
多词元预测的原理是让模型在一次前向传播中预测多个未来词元，然后通过验证机制确认哪些预测被接受。被接受的预测直接跳过逐个生成的步骤，从而减少了解码所需的迭代次数。对于输出长度分布不均的推理任务，这种优化对整体效率的提升尤为显著。
5.3 训练规模与成本控制
DeepSeek公开的训练规模数据提供了一个参照。基于自研框架，DeepSeek-R1采用了十六路流水线并行与六十四路专家并行的混合架构，在两千零四十八卡H800集群上仅用五十七天完成了十四点八万亿词元数据的训练，总成本控制在五百五十八万美元。这个数字较GPT-4估算的数亿美元显著节省，FP8混合精度训练框架首次在超大规模模型上得到验证。
成本控制的一个关键因素是训练步数的有效利用。群组相对策略优化的每个训练步骤使用三十二个独立问题，产生五百一十二的训练批量。每个rollout生成八千一百九十二个输出，随机分成十六个小批次，每个小批次只训练一个内层轮次。这种设计避免了在单批数据上过度训练导致的过拟合，也使每个样本的计算被更高效地利用。
另一个关键因素是参考模型的更新节奏。每四百步，参考模型被替换为最新的策略模型。参考模型在KL散度中充当锚点，如果参考模型始终是初始模型，策略在训练后期会受到过强的约束，难以继续优化。定期更新参考模型使KL约束的强度随训练进展而调整，给了策略更大的探索空间，同时保持了训练的稳定性。
第六章 群组相对策略优化的边界与后续演进
6.1 算法本身的适用条件
群组相对策略优化并不是在所有强化学习场景中都优于近端策略优化。它的优势在奖励可验证、组内比较有意义的场景中最明显。数学和代码任务天然适合这种范式，因为答案的对错可以被规则系统客观判定，组内输出之间的优劣是明确的。
对于奖励难以客观验证的任务，例如创意写作、开放式对话和主观偏好对齐，规则奖励无法提供可靠的信号。此时仍然需要神经奖励模型或人类偏好数据。群组相对策略优化在这些场景中的适用性，取决于奖励模型的质量和组内比较的区分度。如果奖励模型对一组输出的评分几乎相同，组内优势的区分度不足，算法的优势就会退化。
6.2 奖励破解的持续挑战
奖励破解是强化学习训练中一个根本性的风险。当奖励信号存在可被利用的漏洞时，策略会学会利用漏洞而不是完成真正的目标。DeepSeek-R1的规则奖励系统在设计上试图规避这个问题，因为规则是客观的、不可伪造的。
但奖励破解并没有被完全消除。一项针对智能体工具使用的奖励破解基准测试显示，DeepSeek-R1-Zero的奖励破解率为百分之十三点九，而DeepSeek-V3的破解率为百分之零点六。强化学习后训练与更高的奖励破解率相关联，这说明即使在规则奖励的框架下，策略仍然可能学会以不符合设计意图的方式获取奖励。
缓解奖励破解的方向包括环境加固和动态奖励设计。环境加固通过移除或限制可被利用的工具和接口来降低破解机会。动态奖励设计则根据训练进展调整奖励的严格程度，在早期给予一定的探索空间，在后期收紧标准，迫使策略收敛到真正的目标行为。
6.3 算法家族的后续演进
群组相对策略优化开启了一个算法家族，后续研究在它的基础上提出了多个改进变体。
DAPO对群组相对策略优化做了四项改进：动态采样过滤、词元级策略梯度损失、非对称裁剪以及去除KL散度惩罚。其中去除KL惩罚的设计值得注意，它挑战了KL正则的必要性假设，认为在适当的裁剪机制下，策略不会偏离到不可接受的程度。
GSPO采用了不同的归一化粒度，它对每个回答计算一个重要性比值，而不是对每个词元计算比值。这种粒度的变化改变了梯度信号的平滑程度，在长链推理任务上表现较好，但在需要词元级奖励的代码生成任务上不如DAPO。
Dr.GRPO针对群组相对策略优化对奖励标准差的敏感性进行了修正，使用绝对偏差而非标准差进行归一化，并引入词元级归一化来消除长度偏差。MAD-GRPO则进一步使用中位数绝对偏差来增强对奖励崩溃的鲁棒性。
这些变体共享相同的基础目标函数，但在归一化策略、裁剪机制和重要性采样层级上做出不同的选择。它们的出现说明群组相对策略优化不是一个终点，而是一个可被持续改进的范式框架。
结语
DeepSeek在强化学习算法上的选择，本质上是在回答一个问题：当模型的推理链条长达数千个词元、当奖励信号稀疏且离散、当训练成本必须被控制在可复现的范围内时，什么样的强化学习算法才是可行的。
群组相对策略优化给出的答案是：去掉价值网络，用组内相对比较替代绝对价值估计。这个答案的代价是离散奖励带来的梯度稳定性问题，收益是显存和计算开销的减半，以及对长链推理场景的天然适配。DeepSeek-R1-Zero证明了纯强化学习足以激发基座模型中的推理能力，多阶段训练流程则展示了如何将这种能力迁移到更广泛的任务和对齐目标上。
算法的演进没有停在群组相对策略优化。DAPO、GSPO、Dr.GRPO等变体在归一化、裁剪和采样层级上持续探索，试图在稳定性、效率和泛化能力之间找到更好的平衡点。奖励破解的挑战也远未解决，即使规则奖励在理论上不可伪造，策略仍然可能以设计者未预料到的方式获取奖励信号。
当训练成本被压缩到二十九点四万美元的增量级别，当两千零四十八卡的集群在五十七天内完成十四点八万亿词元的训练，强化学习已经从一种昂贵的研究工具，变成了大模型后训练中可被系统性工程化的标准环节。群组相对策略优化在这个转变中扮演的角色，不是一个完美的算法，而是一个把强化学习从价值网络的沉重负担中解放出来、使其能够适配长链推理这一新场景的关键设计选择。