介绍GSPO:一种革命性的语言模型强化学习算法


介绍GSPO:一种革命性的语言模型强化学习算法

近年来,强化学习(RL)已成为训练大型语言模型(LLMs)的关键技术之一,尤其是在推动模型在数学、编程等复杂推理任务上的表现。然而,现有的RL算法(如GRPO)在训练大规模模型时常常面临稳定性差、易发生灾难性崩溃等问题。为了解决这些根本性挑战,阿里巴巴Qwen团队提出了一种全新的强化学习算法------Group Sequence Policy Optimization (GSPO),该算法在训练稳定性、效率和最终性能方面均显著优于现有方法。

一、背景与动机

传统的RL算法(如PPO、GRPO)大多基于token级别的重要性采样(importance sampling)进行策略优化。GRPO虽避免了价值模型的使用,但其token级的重要性权重设计存在根本缺陷:每个token的权重仅基于单个样本计算,无法有效纠正分布偏差,反而引入高方差噪声。随着响应长度增加,这种噪声会累积并最终导致模型崩溃,且往往不可逆转。

GSPO的提出正是基于这样一个核心洞察:优化目标的最小单位应与奖励的授予单位一致。既然奖励是针对整个响应序列(sequence)给出的,那么重要性采样和优化也应在序列级别进行。

二、GSPO的核心思想

GSPO算法摒弃了token级别的重要性比率,转而使用序列级别的重要性比率,定义为:

该比率反映了从旧策略中采样的响应在新策略下的偏离程度,与序列级别的奖励自然对齐。GSPO的优化目标如下:

三、GSPO的优势

1. 训练稳定性显著提升

GSPO从根本上解决了GRPO中因token级权重不稳定导致的训练崩溃问题。实验表明,GSPO能够持续稳定训练,即便在生成长响应或训练混合专家模型(MoE)时也是如此。

2. 更高的训练效率

尽管GSPO会裁剪掉更多token,但其序列级别的梯度估计更加高效和可靠,从而在相同计算量和查询次数下取得更好的训练效果和基准性能。

3. 适用于MoE模型

GSPO天然克服了MoE模型中专家激活波动带来的训练不稳定问题,无需依赖复杂的"路由回放"(Routing Replay)策略,简化了训练流程并降低了内存与通信开销。

4. 简化RL基础设施

由于GSPO仅依赖序列级别的似然计算,其对计算精度差异的容忍度更高,使得直接使用推理引擎(如vLLM)返回的似然值进行优化成为可能,从而避免了训练引擎的重复计算。

四、实验效果

团队在基于Qwen3-30B-A3B-Base的冷启动模型上进行了实验,在AIME'24、LiveCodeBench和CodeForces等基准测试中,GSPO均显著优于GRPO。训练过程中,GSPO表现出持续的奖励提升和性能改进,展现了其在大规模RL扩展中的强大潜力。

五、总结与展望

GSPO不仅是一种更加稳定和高效的RL算法,更是推动语言模型智能进一步发展的关键技术。其序列级别的优化理念与奖励机制的自然对齐,为未来RL训练提供了新的理论基础和实践路径。阿里巴巴Qwen团队已将GSP成功应用于Qwen3系列的训练中,取得了显著性能提升,并将继续推动RL技术在大模型训练中的规模化应用。


论文链接:https://arxiv.org/pdf/2507.18071

相关推荐
listhi5203 小时前
三电平逆变器SVPWM控制(无解耦功能)与谐波分析
算法·机器学习·支持向量机
机器之心3 小时前
首个为具身智能而生的大规模强化学习框架RLinf!清华、北京中关村学院、无问芯穹等重磅开源
人工智能·openai
岁忧4 小时前
(LeetCode 每日一题) 36. 有效的数独 (数组、哈希表)
java·c++·算法·leetcode·go·散列表
朱程4 小时前
写给自己的 LangChain 开发教程(四):RAG(1)
前端·人工智能
在钱塘江4 小时前
Langgraph从新手到老师傅-2-Agent是什么
人工智能·python
袁庭新4 小时前
2025年08月总结
人工智能·aigc
DreamLife☼4 小时前
工业 5G + AI:智能制造的未来引擎
人工智能·5g·ai·制造·控制·工业·scada
我希望的一路生花4 小时前
ArtCAM 2008安装教程
人工智能·adobe·cascadeur
美团技术团队5 小时前
美团正式发布并开源 LongCat-Flash-Chat,动态计算开启高效 AI 时代
人工智能·开源