阿里:扩散模型强化学习框架d-TreeRPO

📖标题:d-TreeRPO: Towards More Reliable Policy Optimization for Diffusion Language Models

🌐来源:arXiv, 2512.09675

🌟摘要

用于扩散大型语言模型 (dLLM) 的可靠强化学习 (RL) 需要准确优势估计和预测概率的精确估计。现有的 dLLM 的 RL 方法在两个方面都很短:它们依赖于粗略或不可验证的奖励信号,并且它们在不考虑相对于正确集成所有可能的解码顺序的真实无偏预期预测概率的偏差的情况下估计预测概率。为了缓解这些问题,我们提出了 d-TreeRPO,这是一种可靠的 dLLM RL 框架,它利用基于可验证结果奖励的树结构推出和自下而上的优势计算来提供细粒度和可验证的逐步奖励信号。在从父节点估计条件转移概率到子节点时,我们从理论上分析了无偏期望预测概率与通过单次前向传递获得的估计之间的估计误差,发现较高的预测置信度会导致较低的估计误差。在该分析的指导下,我们在训练期间引入了一个时间调度的自蒸馏损失,以增强后期训练阶段的预测置信度,从而实现更准确的概率估计和改进的收敛性。实验表明,d-TreeRPO 优于现有的基线,并在多个推理基准上获得了显着的收益,包括 Sudoku 上的 +86.2、Countdown 上的 +51.6、GSM8K 上的 +4.5 和 Math500 上的 +5.3。消融研究和计算成本分析进一步证明了我们设计选择的有效性和实用性。

🛎️文章简介

🔸研究问题:如何提高扩散语言模型(dLLM)在强化学习中的策略优化的可靠性?

🔸主要贡献:论文提出了d-TreeRPO,一个更可靠的策略优化算法,通过提供细粒度的可验证奖励和更准确的概率估计,提高了扩散语言模型的表现。

📝重点思路

🔸引入树结构的强化学习机制,将去噪过程分解为层次化的步骤,以便实现可验证的过程奖励。

🔸通过单次前向传播估计父子节点之间的条件转移对数概率,以提高计算效率。

🔸设计时间调度的自蒸馏损失机制,随着训练的进展,逐步增强模型的确定性,降低估计误差。

🔸实现了完整的d-TreeRPO损失函数和端到端的训练工作流程。

🔎分析总结

🔸d-TreeRPO在多个推理基准上显著优于现有的dLLM RL方法,具体包括在数独等任务上提高了多达86.2%。

🔸细粒度奖励设计有效减少了奖励黑客风险,使得强化学习的优势估计更加可靠。

🔸实验结果表明,自蒸馏损失在训练过程中显著加速了模型的收敛过程,提高了最终的性能和稳定性。

🔸对比分析显示,d-TreeRPO在计算成本和性能之间提供了良好的平衡,相较于其他方法具备实用性。

💡个人观点

论文的创新点在于将树结构与时间调度的自蒸馏机制结合,建立可验证的奖励信号和精准的转移概率估计。

🧩附录

相关推荐
VIP_CQCRE7 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷8 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我9 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁019 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
β添砖java9 小时前
NLP自然语言处理4:迁移学习:fasttext工具,训练词向量、词向量迁移、迁移学习概念、NLP中常用预训练模型、transformer库使用、迁移学习实践
自然语言处理·transformer·迁移学习
Csvn9 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄10 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
锋行天下11 小时前
langgraph 全栈项目(三)
前端·人工智能·后端
黄啊码11 小时前
【黄啊码】最近面了十几个想转 FDE 的程序员,一个都没招
人工智能
锋行天下11 小时前
langgraph 全栈项目(二)
前端·人工智能·后端