[大语言模型-论文精读] 利用多样性进行大型语言模型预训练中重要数据的选择

[大语言模型-论文精读] 利用多样性进行大型语言模型预训练中重要数据的选择

论文信息:

Harnessing Diversity for Important Data Selection in Pretraining Large Language Models

Authors: Chi Zhang, Huaping Zhong, Kuan Zhang, Chengliang Chai, Rui Wang, Xinlin Zhuang, Tianyi Bai, Jiantao Qiu, Lei Cao, Ye Yuan, Guoren Wang and Conghui He

1. 概览

问题解决:

这篇论文解决的主要问题是在预训练大型语言模型(LLMs)时,如何从大规模可用的训练语料库中选择数据的问题。特别是在数据质量参差不齐的情况下,如何有效地选择对模型性能提升有重要影响的数据实例。

研究结果:

论文提出了一种名为Quad的新方法,该方法在考虑数据质量的同时,还考虑了数据的多样性。Quad利用数据影响(influence)来评估数据质量,并通过簇聚类和多臂赌博机(Multi-Armed Bandit, MAB)方法来确保数据多样性。实验结果表明,Quad方法在预训练阶段能够达到最先进的结果。

2. 研究背景

技术背景:

大型语言模型(LLMs)在人工智能领域取得了显著进展,它们通过扩展模型参数、非监督数据集大小和计算资源,能够成功处理广泛的下游任务。然而,预训练LLMs时计算资源有限,因此精心选择训练数据集对于产生高性能的LLMs至关重要。

发展历史:

以往的数据选择方法包括基于规则的数据过滤、查询高性能模型、使用替代模型等。这些方法虽然在某些数据集和模型上取得了成功,但它们依赖于简单的启发式规则,没有考虑所选数据对模型的影响,导致预训练结果次优。

3. 技术挑战

发展困难:

  • 计算成本高:计算所有可用数据的影响分数非常耗时,尤其是需要梯度计算的影响函数。
  • 数据多样性不足 :仅选择影响分数最高的数据实例可能导致选择的数据在特征空间中分布过于集中,缺乏多样性,从而影响预训练模型对各种下游任务的泛化能力。

4. 如何破局

解决方法:

  • 簇聚类:Quad首先将数据集分成多个簇,使得同一簇内的数据实例相似,不同簇之间的数据实例具有多样性。
  • 多臂赌博机方法:每个簇被视为一个赌博机的臂,通过选择臂来抽取样本并计算影响分数,从而在确保高质量数据的同时,也保证了数据的多样性。
  • 加速iHV P计算方法 :为了更准确地评估单个数据点对整体模型的影响,Quad扩展了从MLP层到整个层的加速iHV P计算方法。

5. 技术应用

实验设置:

  • 使用预训练的嵌入模型对候选池中的数据进行k-means聚类。
  • 通过计算簇间的距离并找到相邻簇,使用多臂赌博机方法选择数据子集。
  • 在在线过程中,将数据选择问题重新定义为多臂赌博机问题,每个簇代表一个臂。

潜在应用:

  • 该方法可以应用于任何需要预训练大型语言模型的场景,特别是在数据量巨大且质量不一的情况下。
  • 可以用于提高特定领域内大型模型的性能,通过选择与该领域相关的数据进行进一步训练。

6. 小结

这篇论文通过结合数据影响和多样性,为预训练大型语言模型的数据选择提供了一种新的方法,有望提高模型在各种下游任务中的性能和泛化能力。


后记

如果您对我的博客内容感兴趣,欢迎三连击(点赞,关注和评论 ),我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习,计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

相关推荐
Cyltcc1 分钟前
如何安装和使用 Claude Code 教程 - Windows 用户篇
人工智能·claude·visual studio code
吹风看太阳33 分钟前
机器学习16-总体架构
人工智能·机器学习
moonsims1 小时前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️1 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理
海豚调度1 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
T__TIII2 小时前
Dify 插件非正式打包
人工智能
jerwey2 小时前
大语言模型(LLM)按架构分类
人工智能·语言模型·分类
微学AI2 小时前
遥感影像岩性分类:基于CNN与CNN-EL集成学习的深度学习方法
深度学习·分类·cnn
IT古董2 小时前
【第三章:神经网络原理详解与Pytorch入门】02.深度学习框架PyTorch入门-(5)PyTorch 实战——使用 RNN 进行人名分类
pytorch·深度学习·神经网络
令狐少侠20112 小时前
ai之RAG本地知识库--基于OCR和文本解析器的新一代RAG引擎:RAGFlow 认识和源码剖析
人工智能·ai