谷歌:“课程学习”融入扩散模型强化学习

📖标题:CanvasAnneal: Curriculum Reinforcement Learning for Diffusion Language Models

🌐来源:arXiv, 2609.13060v1

🛎️文章简介

🔸研究问题:扩散语言模型在强化学习训练初期,因为从纯噪声开始生成,探索效率极低且难以发现有效的推理路径,如何解决这个探索瓶颈?

🔸主要贡献:论文提出CanvasAnneal框架,利用强教师模型的推理轨迹作为初始引导,并通过课程学习逐渐减少引导,显著加速了扩散模型在复杂推理任务上的收敛速度。

📝重点思路

🔸引入教师先验进行热启动:在强化学习初期,不直接从全掩码的噪声画布开始,而是将更强教师模型生成的推理轨迹前缀注入到初始画布中,为模型提供结构化的探索方向。

🔸实施后缀掩码策略:采用连续的后缀掩码方式,保留教师推理轨迹的前缀部分,只掩码后半部分让模型去补全。相比随机掩码,这种方式更能保持推理逻辑的连贯性,要求模型学会延续已有的思维链条。

🔸动态Beta混合课程调度:设计了一个随训练进度变化的动态课程。早期保留大部分教师引导(低掩码率),随着训练进行,通过Beta分布逐渐增加掩码比例,减少教师提供的上下文,迫使模型独立生成更多推理步骤。

🔸保留纯噪声探索:在每一批训练中,始终保留一定比例(如25%或75%,视任务而定)的样本完全从纯噪声开始生成,防止模型过度依赖教师引导,确保其具备从零生成的能力。

🔸结合组相对策略优化:在同一提示词组内共享相同的初始画布和掩码比例,确保组内优势计算的公平性,利用diffu-GRPO算法进行策略更新,实现端到端的强化学习训练。

🔎分析总结

🔸数学推理性能提升:在MATH500和Countdown基准测试中,CanvasAnneal在不同生成长度下均优于标准的diffu-GRPO方法,证明了课程引导对复杂多步推理的有效性。

🔸工具使用能力增强:在Tau2工具调用基准上,该方法在所有领域(零售、航空、电信)均取得一致的性能提升,平均得分显著高于基线,表明其能更好地学习复杂的工具执行逻辑。

🔸收敛速度大幅加快:实验显示,在xLAM和Countdown任务上,CanvasAnneal达到特定奖励阈值所需的训练步数比基线少7.4倍至18.8倍,极大地提高了训练样本效率。

🔸任务依赖性明显:该方法在GSM8K等较简单或不同分布的任务上并未表现出优势,甚至略逊于基线,说明课程引导的效果高度依赖于任务的复杂度和奖励景观的特性。

🔸无需教师模型推理:尽管训练阶段使用了教师模型,但在最终推理测试时,模型完全从全掩码画布自主生成,不增加任何额外的推理延迟,保持了扩散模型的并行生成优势。

💡个人观点

论文将"课程学习"的思想融入到了扩散模型的强化学习中,把教师的推理过程当作一个逐渐撤去的"脚手架"。

相关推荐
泯泷43 分钟前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我1 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁011 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java2 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn2 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄3 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下3 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码4 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下4 小时前
langgraph 全栈项目(二)
前端·人工智能·后端
大模型真好玩4 小时前
用 Seedance 2.5 Flash 实现1分钟AI短剧,满足孩子的超级英雄对战梦
人工智能·aigc·deepseek