8K样本在DeepSeek-R1-7B模型上的复现效果

7B Model and 8K Examples: Emerging Reasoning with Reinforcement Learning is Both Effective and Effic (notion.site)

港科大助理教授何俊贤的团队以Qwen2.5-Math-7B(基础模型)为起点,直接对其进行强化学习。整个过程中,没有进行监督微调(SFT),也没有使用奖励模型。最终,模型在AIME基准上实现了33.3%的准确率,在AMC上为62.5%,在MATH上为77.2%。这一表现超越了Qwen2.5-Math-7B-Instruct,且可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美。结果说明,模型在复杂的数学推理上取得了十分优秀的结果。

Qwen2.5- 7 B-SimpleRL-Zero是直接从基础模型进行简单的RL训练,仅使用8K MATH示例。与基础模型相比,它平均获得了近20个绝对点的收益。与具有相同8K数据SFT的Qwen2.5-Math-7 B-Base相比,RL具有更好的泛化能力,绝对高出22%。此外,Qwen2.5- 7 B-SimpleRL-Zero的平均性能优于Qwen-2.5-Math-7 B-Instruct,并且与最近发布的Eurus-2- 7 B-PRIME和rStar-Math-7 B大致相当,后者也基于Qwen-2.5-Math-7 B。

其中,Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的,仅采用了MATH数据集中的8K样本。Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调(SFT)作为冷启动,然后再进行强化学习。在这两种方法中,团队都只使用了相同的8K MATH样本。

大概在第40步的时候,模型开始生成自反射模式,即DeepSeek-R1论文中的"aha moment"。模型的响应中,出现了自我反思。

在验证中,模型还显现了较长的CoT推理能力和自我反思能力。

有趣的是,尽管研究者先进行了long CoT SFT,但在强化学习初期仍然观察到输出长度减少的现象。他们推测,这可能是因为从QwQ提取的推理模式不适合小型策略模型,或超出了其能力范围。因此,模型选择放弃这种模式,转而自主发展新的长链式推理方式。

相关推荐
dream_home840717 分钟前
构建生产级多模态数据集:视觉与视频模型(参照LLaVA-OneVision-Data和VideoChat2)
图像处理·人工智能·计算机视觉
AI优秘企业大脑17 分钟前
音频库管理在数字媒体中的应用探索
大数据·人工智能
这儿有一堆花35 分钟前
从图像到精准文字:基于PyTorch与CTC的端到端手写文本识别实战
人工智能·pytorch·python
聚客AI41 分钟前
🌈从实验室到生产线:LLM工程师必须掌握的八大实战技能
人工智能·llm·agent
明天再做行么1 小时前
AI产品经理学习资料
人工智能·产品经理
cetcht88881 小时前
从 “有人值守” 到 “少人运维”:智能巡检机器人重塑配电室管理模式
大数据·运维·人工智能·机器人
阿正的梦工坊1 小时前
介绍 SWE-bench:语言模型能否解决真实世界的 GitHub 问题?
人工智能·语言模型·github
嘀咕博客1 小时前
月匣 - 百度推出的AI情感陪伴与剧情互动应用
人工智能·百度·ai工具
新加坡内哥谈技术2 小时前
Claude Code 的“AI优先”
人工智能
豆芽8192 小时前
模糊控制Fuzzy Control
人工智能·算法·模糊控制