📖标题：Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining
🌟摘要
🔸高效的数据选择对于加速大型语言模型（LLM）的预训练至关重要。虽然已经提出了各种方法来提高数据效率，但有限的研究解决了这些方法之间的内在冲突，以实现LLM预训练的最佳数据选择。
🔸为了解决这个问题，我们提出了一种新的多代理协作数据选择机制。在这个框架中，每种数据选择方法都充当一个独立的代理，并设计了一个代理控制台，用于在整个训练过程中动态集成来自所有代理的信息。我们进行了广泛的实证研究来评估我们的多代理框架。
🔸实验结果表明，与最先进的方法相比，我们的方法显著提高了数据效率，加速了LLM训练的收敛，并在多语言模型基准测试中实现了高达10.5%的平均性能提升。代码和检查点在<github/beccabai/multi-agent-data-selection>上公开发布。
🛎️文章简介
🔸研究问题：如何在大规模语言模型（LLM）预训练中优化数据效率，解决现有数据选择方法之间的内在冲突？
🔸主要贡献：论文提出了一个多代理协作数据选择机制，并通过实验证明了该方法在提高数据效率、加速模型训练收敛以及在多个语言模型基准测试中的性能提升。
📝重点思路
🔺相关工作
🔸LLM预训练中的数据选择：分类器和语言建模困惑度已被用于识别类似于高质量样本的数据，数据混合（如DoReMi）和主题分布（如Llama 3.1）能在代币层面和样本层面提高数据多样性。
🔸多代理协作框架：促进自主代理之间的协作问题解决，这些系统中的代理可能有相互冲突的目标，并根据他们的目标独立采取行动，因此需要奖励机制进行评估及反馈。
🔺框架概述
🔸多代理协作数据选择机制：每个数据选择方法作为一个代理（分别处理质量、领域和主题等），能够为训练数据样本提供评分
🔸评分整合：设计了一个代理控制台来有效整合所有代理的评分，生成优化的数据选择结果。
🔺实施流程
🔸离线标注阶段，每条数据的初始信息被计算并存储在每个代理的记忆中。
🔸在线更新阶段，代理根据当前模型计算的奖励更新其内部权重，并根据其记忆和更新后的权重为每个数据点分配分数。
🔎分析总结
🔸端到端实验：论文的方法在数据效率方面显著提高，导致LLM训练的更快收敛，并在各种语言模型基准测试中平均提高了10.5%的性能。
🔸消融研究：验证了多代理框架设计中核心组件的设计和实现对于达到高级性能是必要的。
🔸下游任务评估：论文的方法在平均性能上显著优于所有基线方法，特别是在与随机采样方法相比时，不仅显著优于标准300亿token设置，还超过了在600亿token上训练的模型，性能提升4.7%。
🔸统计和计算效率：论文的方法在LLM训练收敛的统计效率和数据处理开销的计算效率方面都表现出色。
💡个人观点
论文的核心是将每种数据选择打分器作为一个代理，通过协作的方式进行数据选择。
🧩附录
