8K样本在DeepSeek-R1-7B模型上的复现效果

7B Model and 8K Examples: Emerging Reasoning with Reinforcement Learning is Both Effective and Effic (notion.site)

港科大助理教授何俊贤的团队以Qwen2.5-Math-7B(基础模型)为起点,直接对其进行强化学习。整个过程中,没有进行监督微调(SFT),也没有使用奖励模型。最终,模型在AIME基准上实现了33.3%的准确率,在AMC上为62.5%,在MATH上为77.2%。这一表现超越了Qwen2.5-Math-7B-Instruct,且可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美。结果说明,模型在复杂的数学推理上取得了十分优秀的结果。

Qwen2.5- 7 B-SimpleRL-Zero是直接从基础模型进行简单的RL训练,仅使用8K MATH示例。与基础模型相比,它平均获得了近20个绝对点的收益。与具有相同8K数据SFT的Qwen2.5-Math-7 B-Base相比,RL具有更好的泛化能力,绝对高出22%。此外,Qwen2.5- 7 B-SimpleRL-Zero的平均性能优于Qwen-2.5-Math-7 B-Instruct,并且与最近发布的Eurus-2- 7 B-PRIME和rStar-Math-7 B大致相当,后者也基于Qwen-2.5-Math-7 B。

其中,Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的,仅采用了MATH数据集中的8K样本。Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调(SFT)作为冷启动,然后再进行强化学习。在这两种方法中,团队都只使用了相同的8K MATH样本。

大概在第40步的时候,模型开始生成自反射模式,即DeepSeek-R1论文中的"aha moment"。模型的响应中,出现了自我反思。

在验证中,模型还显现了较长的CoT推理能力和自我反思能力。

有趣的是,尽管研究者先进行了long CoT SFT,但在强化学习初期仍然观察到输出长度减少的现象。他们推测,这可能是因为从QwQ提取的推理模式不适合小型策略模型,或超出了其能力范围。因此,模型选择放弃这种模式,转而自主发展新的长链式推理方式。

相关推荐
catcfm27 分钟前
MiniDrive:面向自动驾驶的更高效的视觉语言模型
人工智能·深度学习·语言模型·自动驾驶
腾讯云大数据30 分钟前
IDC MarketScape:腾讯云位居国内生成式AI数据基础设施“领导者”象限
人工智能·云计算·腾讯云
我有一颗五叶草30 分钟前
告别 “无效阅读”!2025 开学季超赞科技书单,带孩子解锁 AI、编程新技能
人工智能·科技
地平线开发者33 分钟前
理想汽车智驾方案介绍 4 World model + 强化学习重建自动驾驶交互环境
人工智能·自动驾驶·汽车
whaosoft-14335 分钟前
51c自动驾驶~合集20
人工智能
年年测试1 小时前
在LangChain中无缝接入MCP服务器扩展AI智能体能力
服务器·人工智能·langchain
飞哥数智坊1 小时前
一个 TRAE 巨好用的隐藏功能:任务完成通知
人工智能·trae
IT毕设实战小研1 小时前
2026届大数据毕业设计选题推荐-基于大数据旅游数据分析与推荐系统 爬虫数据可视化分析
大数据·人工智能·爬虫·机器学习·架构·数据分析·课程设计
信马堂1 小时前
MCP Token超限问题解决方案
人工智能·langchain
m0_677034352 小时前
机器学习-决策树(下)
人工智能·决策树·机器学习