腾讯:预测散度掩码提升LLM强化学习

📖标题:Predictive Divergence Masks for LLM RL

🌐来源:arXiv, 2607.10848v1

🛎️文章简介

🔸研究问题:在大语言模型强化学习中,当使用分布散度作为信任区域邻近性判据时,如何设计与之对齐的方向性判据以解决传统采样比率判据的不一致问题?

🔸主要贡献:提出预测散度掩码,通过解析推导散度的方向导数并设计轻量级估计器,实现了与散度变化严格对齐的更新方向控制,显著提升了训练稳定性与效果。

📝重点思路

🔸指出DPPO等现有方法仅升级了基于散度的邻近性判据,却保留了基于单样本重要性比率的方向性判据,导致两者在判断更新是否偏离行为策略时存在符号不一致的理论缺陷。

🔸定义预测散度掩码,核心思想是直接询问下一步梯度更新会增加还是减少当前定义的散度,从而决定是否屏蔽该token的梯度,确保方向判据与邻近性判据基于同一度量标准。

🔸针对Softmax策略推导散度方向导数的闭式解,将其分解为反映采样token概率差的局部项和反映整个词汇表归一化耦合的全局项,揭示传统比率判据仅捕捉局部项而忽略全局影响的本质。

🔸鉴于生产环境推理引擎仅提供Top-K概率,开发两种轻量级尾部估计器(聚合尾部估计和均匀尾部估计)来近似计算全局项,无需额外前向或反向传播,计算开销极低。

🔎分析总结

🔸理论分析表明,预测散度掩码中的方向判据比传统的采样比率判据能更准确地对齐散度的实际变化,特别是在采样token差距与分布整体修正方向相反时,能有效纠正错误判断。

🔸在Qwen3不同规模模型及FP8精度设置下的实验显示,引入预测散度掩码的方法在AIME基准测试中均优于DPPO基线,且在更严格的信任区域阈值下表现出更强的鲁棒性。

🔸Token级别的详细分析证实,在两个判据做出不同决策的少数样本中,基于散度的方向判据具有更低的不安全保留率,即更少地保留那些实际上会增加散度的有害更新。

💡个人观点

论文发现了现有改进方法中邻近性与方向性判据的度量错位问题,并通过数学推导将方向判断从单样本代理回归到分布散度本身。

相关推荐
tellmewhoisi25 分钟前
深度学习0:数学知识:最大似然推导过程
人工智能·深度学习·概率论
oil欧哟25 分钟前
从产品经理视角拆解 DeepSeek Super-agent:双层路由与异步调度架构
人工智能
张张123y34 分钟前
个人助手型 Agent 的六个工程细节:Hermes 与 OpenClaw 的审批、委派、上下文与调度
网络·人工智能·开源·后端开发·ai agent
Dawson Zhu1 小时前
【模型量化⑦】W4A8与GPTQ-Int4:极限压缩与MLC-LLM部署实战
人工智能·语言模型·架构·aigc·agi
千寻技术帮1 小时前
50055_基于AI的互帮互助小程序(源码+文档+数据库脚本+部署教程)
数据库·人工智能·小程序·毕业设计·springboot·课程设计
天树星智源2 小时前
KV 剪枝的同一个误差,模型确定时只改 1.4% 的 token,不确定时改 65%:接上不确定性,AIME25 端到端快 1.27 倍
人工智能·大模型
AI英德西牛仔2 小时前
PC 用户的效率革命:腾讯元宝导出 Word 指令与“AI 导出鸭”的底层逻辑
人工智能·word·excel·deepseek·ai导出鸭
Flynn Liang3 小时前
多智能体协同不再复杂:Redis Stream 消费者组、幂等与故障恢复
数据库·人工智能·redis·缓存·ai agent·智能体
VIP_CQCRE11 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
泯泷12 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能