分布式异步强化学习框架训练32B大模型：INTELLECT-2

INTELLECT-2 模型详解

一、模型概述

INTELLECT-2 是一个拥有 320 亿参数的语言模型，其训练采用了一种创新的方式，即通过社区贡献的分布式、无需许可的 GPU 资源进行强化学习训练。该模型基于 qwen2 架构构建，因此与 vllm 或 sglang 等流行库和推理引擎具有良好的兼容性。它在训练过程中运用了 prime-rl 这一分布式异步强化学习框架，并结合了基于可验证奖励的 GRPO 方法以及一些提升训练稳定性的改进措施。在训练过程中，INTELLECT-2 特别强调了长度控制预算，建议在指令后附加"Think for 10000 tokens before giving a response."的提示，以实现最佳效果。不过，由于训练时间不足以完全掌握长度控制目标，除了 10,000 之外，2,000、4,000、6,000 和 8,000 等目标长度也能带来较好的结果，因为这些长度在训练过程中也有所涉及。

二、模型架构

INTELLECT-2 以 QwQ-32B 为基础模型，该模型在数学和编码能力方面取得了显著提升，但在 IFEval 上的表现略有下降，这可能与训练数据不够多样化以及对数学和编码的过度专注有关。在架构方面，INTELLECT-2 采用 qwen2 架构，这种架构设计使其能够与多个流行的库和推理引擎实现兼容，从而为模型的应用提供了更大的灵活性和便利性。

三、训练方法

训练 INTELLECT-2 时，采用了 prime-rl 框架，这一框架专为分布式异步强化学习而设计。训练过程中，运用了基于可验证奖励的 GRPO 方法，并且对训练稳定性进行了一些改进。训练数据集主要包括可验证的数学和编码任务，这些任务构成了模型训练的基础，帮助模型在相关领域取得了性能提升。

四、训练数据集

INTELLECT-2 的训练数据集为 PrimeIntellect/Intellect-2-RLDataset，涵盖了各种数学和编码任务，这些任务经过精心设计和验证，以确保模型能够在这些关键领域获得有效的训练，从而提升其在数学和编码方面的能力。

五、性能表现

在性能方面，INTELLECT-2 在多个评估基准上与 QwQ-32B 和其他模型进行了对比。具体来说，在 AIME24、AIME25、LiveCodeBench (v5)、GPQA-Diamond 和 IFEval 等评估基准上，INTELLECT-2 的表现如下：

在 AIME24 上，INTELLECT-2 达到了 78.8 的分数，相较于 QwQ-32B 的 76.6 有所提升。
在 AIME25 上，INTELLECT-2 的分数为 64.9，略高于 QwQ-32B 的 64.8。
在 LiveCodeBench (v5) 上，INTELLECT-2 取得了 67.8 的成绩，高于 QwQ-32B 的 66.1。
在 GPQA-Diamond 上，INTELLECT-2 的分数为 66.8，与 QwQ-32B 的 66.3 相比略有进步。
然而，在 IFEval 上，INTELLECT-2 的分数为 81.5，低于 QwQ-32B 的 83.4。

与其他模型相比，如 Deepseek-R1 在 AIME24 上获得了 78.6 分，在 AIME25 上为 65.1 分，在 LiveCodeBench (v5) 上为 64.1 分，在 GPQA-Diamond 上为 71.6 分，在 IFEval 上为 82.7 分。这些数据表明 INTELLECT-2 在数学和编码能力上有一定的优势，但在 IFEval 上的表现仍有提升空间。