研究发现:提示中加入数百个示例显著提升大型语言模型的性能

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近期研究显示,当大型语言模型(LLMs)在提示中直接接收到数百甚至数千个示例时,它们在多种任务上的表现显著提升。这项由谷歌、DeepMind等机构的研究人员进行的研究探讨了LLMs在直接通过提示学习大量示例时性能的提升情况,这种方法被称为多示例上下文内学习(Many-Shot In-Context Learning,ICL)。

上下文内学习(ICL)意味着示例直接在上下文(即提示)中给出,不需像微调那样调整模型参数。后者耗时更多,也更昂贵。以往,由于模型一次不能处理和生成大量文本,通常只给模型提供少数几个示例(单示例、少示例)。现在,随着"上下文窗口"(一种短期记忆)的扩大,可以在提示中直接提供给模型数百甚至数千个示例(多示例)。

在使用谷歌的Gemini 1.5 Pro语言模型进行的测试中,该模型可以处理多达一百万个令牌(约70万词)的上下文。结果显示,多示例提示在翻译、总结、规划和回答问题等任务上的表现显著优于少示例提示。

例如,在使用大约1000个翻译示例的情况下,Gemini 1.5甚至在库尔德语和泰米尔语这两种语言的翻译上超越了谷歌翻译,这是迄今为止LLMs与谷歌翻译之间报告的最大差距。在新闻摘要方面,该模型几乎能与专门的程序相媲美,但偶尔会出现如错误的数据和时间等虚构信息,这些信息并未出现在学习示例中。此外,当示例超过50个后,性能开始下降,研究人员尚无法解释此现象。

对于复杂的逻辑任务,如数学或科学问题,研究人员让模型自己创造解决方案并将其作为额外的学习示例,这种方法("强化ICL")比人工创造的解决方案更为可靠。

在一个仅给出问题而不给解决方案的实验中("无监督ICL"),对于某些逻辑任务,这种方法仍然比几个完整的示例效果更好。然而,它通常无法达到"强化ICL"自生成解决方案的水平。研究还发现,模型通过示例"遗忘"了预训练中的错误,并且在给予足够多的示例后甚至能识别抽象的数学模式。然而,示例的给出顺序对模型产生了影响,使提示变得更加复杂。为什么性能有时在示例更多时反而下降,这仍是一个悬而未决的问题。未来的研究需要澄清这一点。

总之,这些结果显示,语言模型可以从提示中的许多示例中可靠地学习。这可能会在未来使针对特定任务的耗时训练变得不再必要。

相关推荐
点云SLAM32 分钟前
Eigen 中矩阵的拼接(Concatenation)与 分块(Block Access)操作使用详解和示例演示
人工智能·线性代数·算法·矩阵·eigen数学工具库·矩阵分块操作·矩阵拼接操作
木枷2 小时前
NAS-Bench-101: Towards Reproducible Neural Architecture Search
人工智能·物联网
BAOYUCompany2 小时前
暴雨服务器更懂人工智能+
运维·服务器·人工智能
飞哥数智坊2 小时前
Coze实战第17讲:工资条自动拆分+一对一邮件发送
人工智能·coze
cwn_2 小时前
自然语言处理NLP (1)
人工智能·深度学习·机器学习·自然语言处理
点云SLAM2 小时前
PyTorch中flatten()函数详解以及与view()和 reshape()的对比和实战代码示例
人工智能·pytorch·python·计算机视觉·3d深度学习·张量flatten操作·张量数据结构
智海观潮2 小时前
Unity Catalog与Apache Iceberg如何重塑Data+AI时代的企业数据架构
大数据·人工智能·ai·iceberg·catalog
爱分享的飘哥2 小时前
第三篇:VAE架构详解与PyTorch实现:从零构建AI的“视觉压缩引擎”
人工智能·pytorch·python·aigc·教程·生成模型·代码实战
之墨_3 小时前
【大语言模型入门】—— Transformer 如何工作:Transformer 架构的详细探索
语言模型·架构·transformer
柏峰电子3 小时前
市政道路积水监测系统:守护城市雨天出行安全的 “智慧防线”
大数据·人工智能·安全