HKUST:通过agent协作选取LLM训练数据

📖标题:Multi-Agent Collaborative Data Selection for Efficient LLM Pretraining

🌐来源:arXiv, 2410.08102

🌟摘要

🔸高效的数据选择对于加速大型语言模型(LLM)的预训练至关重要。虽然已经提出了各种方法来提高数据效率,但有限的研究解决了这些方法之间的内在冲突,以实现LLM预训练的最佳数据选择。

🔸为了解决这个问题,我们提出了一种新的多代理协作数据选择机制。在这个框架中,每种数据选择方法都充当一个独立的代理,并设计了一个代理控制台,用于在整个训练过程中动态集成来自所有代理的信息。我们进行了广泛的实证研究来评估我们的多代理框架。

🔸实验结果表明,与最先进的方法相比,我们的方法显著提高了数据效率,加速了LLM训练的收敛,并在多语言模型基准测试中实现了高达10.5%的平均性能提升。代码和检查点在<github/beccabai/multi-agent-data-selection>上公开发布。

🛎️文章简介

🔸研究问题:如何在大规模语言模型(LLM)预训练中优化数据效率,解决现有数据选择方法之间的内在冲突?

🔸主要贡献:论文提出了一个多代理协作数据选择机制,并通过实验证明了该方法在提高数据效率、加速模型训练收敛以及在多个语言模型基准测试中的性能提升。

📝重点思路

🔺相关工作

🔸LLM预训练中的数据选择:分类器和语言建模困惑度已被用于识别类似于高质量样本的数据,数据混合(如DoReMi)和主题分布(如Llama 3.1)能在代币层面和样本层面提高数据多样性。

🔸多代理协作框架:促进自主代理之间的协作问题解决,这些系统中的代理可能有相互冲突的目标,并根据他们的目标独立采取行动,因此需要奖励机制进行评估及反馈。

🔺框架概述

🔸多代理协作数据选择机制:每个数据选择方法作为一个代理(分别处理质量、领域和主题等),能够为训练数据样本提供评分

🔸评分整合:设计了一个代理控制台来有效整合所有代理的评分,生成优化的数据选择结果。

🔺实施流程

🔸离线标注阶段,每条数据的初始信息被计算并存储在每个代理的记忆中。

🔸在线更新阶段,代理根据当前模型计算的奖励更新其内部权重,并根据其记忆和更新后的权重为每个数据点分配分数。

🔎分析总结

🔸端到端实验:论文的方法在数据效率方面显著提高,导致LLM训练的更快收敛,并在各种语言模型基准测试中平均提高了10.5%的性能。

🔸消融研究:验证了多代理框架设计中核心组件的设计和实现对于达到高级性能是必要的。

🔸下游任务评估:论文的方法在平均性能上显著优于所有基线方法,特别是在与随机采样方法相比时,不仅显著优于标准300亿token设置,还超过了在600亿token上训练的模型,性能提升4.7%。

🔸统计和计算效率:论文的方法在LLM训练收敛的统计效率和数据处理开销的计算效率方面都表现出色。

💡个人观点

论文的核心是将每种数据选择打分器作为一个代理,通过协作的方式进行数据选择。

🧩附录


相关推荐
格林威3 分钟前
可见光工业相机半导体制造领域中的应用
图像处理·人工智能·数码相机·计算机视觉·视觉检测·制造·工业相机
星期天要睡觉10 分钟前
计算机视觉(opencv)——基于 MediaPipe 人体姿态检测
人工智能·opencv·计算机视觉
资讯全球26 分钟前
2025机器人自动化打磨抛光设备及汽车零件打磨新技术10月应用解析
人工智能·机器人·自动化
数智前线26 分钟前
京东零售的AI野心:为每个商家打造自己的“AI战队”
人工智能
Cl_rown去掉l变成C27 分钟前
第N7周打卡:调用Gensim库训练Word2Vec模型
人工智能·自然语言处理·word2vec
腾讯云开发者1 小时前
腾讯云TVP走进美的,共探智能制造新范式
人工智能
一水鉴天1 小时前
整体设计 逻辑系统程序 之34七层网络的中台架构设计及链路对应讨论(含 CFR 规则与理 / 事代理界定)
人工智能·算法·公共逻辑
我星期八休息1 小时前
C++智能指针全面解析:原理、使用场景与最佳实践
java·大数据·开发语言·jvm·c++·人工智能·python
ECT-OS-JiuHuaShan2 小时前
《元推理框架技术白皮书》,人工智能领域的“杂交水稻“
人工智能·aigc·学习方法·量子计算·空间计算
minhuan2 小时前
构建AI智能体:六十八、集成学习:从三个臭皮匠到AI集体智慧的深度解析
人工智能·机器学习·adaboost·集成学习·bagging