8K样本在DeepSeek-R1-7B模型上的复现效果

7B Model and 8K Examples: Emerging Reasoning with Reinforcement Learning is Both Effective and Effic (notion.site)

港科大助理教授何俊贤的团队以Qwen2.5-Math-7B(基础模型)为起点,直接对其进行强化学习。整个过程中,没有进行监督微调(SFT),也没有使用奖励模型。最终,模型在AIME基准上实现了33.3%的准确率,在AMC上为62.5%,在MATH上为77.2%。这一表现超越了Qwen2.5-Math-7B-Instruct,且可以和使用超过50倍数据量和更复杂组件的PRIME和rStar-MATH相媲美。结果说明,模型在复杂的数学推理上取得了十分优秀的结果。

Qwen2.5- 7 B-SimpleRL-Zero是直接从基础模型进行简单的RL训练,仅使用8K MATH示例。与基础模型相比,它平均获得了近20个绝对点的收益。与具有相同8K数据SFT的Qwen2.5-Math-7 B-Base相比,RL具有更好的泛化能力,绝对高出22%。此外,Qwen2.5- 7 B-SimpleRL-Zero的平均性能优于Qwen-2.5-Math-7 B-Instruct,并且与最近发布的Eurus-2- 7 B-PRIME和rStar-Math-7 B大致相当,后者也基于Qwen-2.5-Math-7 B。

其中,Qwen2.5-7B-SimpleRL-Zero是在Qwen2.5-Math-7B基础模型上仅使用纯PPO方法训练的,仅采用了MATH数据集中的8K样本。Qwen2.5-7B-SimpleRL则首先通过Long CoT监督微调(SFT)作为冷启动,然后再进行强化学习。在这两种方法中,团队都只使用了相同的8K MATH样本。

大概在第40步的时候,模型开始生成自反射模式,即DeepSeek-R1论文中的"aha moment"。模型的响应中,出现了自我反思。

在验证中,模型还显现了较长的CoT推理能力和自我反思能力。

有趣的是,尽管研究者先进行了long CoT SFT,但在强化学习初期仍然观察到输出长度减少的现象。他们推测,这可能是因为从QwQ提取的推理模式不适合小型策略模型,或超出了其能力范围。因此,模型选择放弃这种模式,转而自主发展新的长链式推理方式。

相关推荐
Ronin-Lotus3 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps3 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯4 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI4 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
Ai墨芯1114 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师5 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot5 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3935 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
jonyleek6 小时前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
MQ_SOFTWARE7 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融