研究发现:提示中加入数百个示例显著提升大型语言模型的性能

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近期研究显示,当大型语言模型(LLMs)在提示中直接接收到数百甚至数千个示例时,它们在多种任务上的表现显著提升。这项由谷歌、DeepMind等机构的研究人员进行的研究探讨了LLMs在直接通过提示学习大量示例时性能的提升情况,这种方法被称为多示例上下文内学习(Many-Shot In-Context Learning,ICL)。

上下文内学习(ICL)意味着示例直接在上下文(即提示)中给出,不需像微调那样调整模型参数。后者耗时更多,也更昂贵。以往,由于模型一次不能处理和生成大量文本,通常只给模型提供少数几个示例(单示例、少示例)。现在,随着"上下文窗口"(一种短期记忆)的扩大,可以在提示中直接提供给模型数百甚至数千个示例(多示例)。

在使用谷歌的Gemini 1.5 Pro语言模型进行的测试中,该模型可以处理多达一百万个令牌(约70万词)的上下文。结果显示,多示例提示在翻译、总结、规划和回答问题等任务上的表现显著优于少示例提示。

例如,在使用大约1000个翻译示例的情况下,Gemini 1.5甚至在库尔德语和泰米尔语这两种语言的翻译上超越了谷歌翻译,这是迄今为止LLMs与谷歌翻译之间报告的最大差距。在新闻摘要方面,该模型几乎能与专门的程序相媲美,但偶尔会出现如错误的数据和时间等虚构信息,这些信息并未出现在学习示例中。此外,当示例超过50个后,性能开始下降,研究人员尚无法解释此现象。

对于复杂的逻辑任务,如数学或科学问题,研究人员让模型自己创造解决方案并将其作为额外的学习示例,这种方法("强化ICL")比人工创造的解决方案更为可靠。

在一个仅给出问题而不给解决方案的实验中("无监督ICL"),对于某些逻辑任务,这种方法仍然比几个完整的示例效果更好。然而,它通常无法达到"强化ICL"自生成解决方案的水平。研究还发现,模型通过示例"遗忘"了预训练中的错误,并且在给予足够多的示例后甚至能识别抽象的数学模式。然而,示例的给出顺序对模型产生了影响,使提示变得更加复杂。为什么性能有时在示例更多时反而下降,这仍是一个悬而未决的问题。未来的研究需要澄清这一点。

总之,这些结果显示,语言模型可以从提示中的许多示例中可靠地学习。这可能会在未来使针对特定任务的耗时训练变得不再必要。

相关推荐
机智的小神仙儿几秒前
GPT-1.0、GPT-2.0、GPT-3.0参数对比
gpt·语言模型·gpt-3
baiduopenmap4 分钟前
百度世界2024精选公开课:基于地图智能体的导航出行AI应用创新实践
前端·人工智能·百度地图
小任同学Alex8 分钟前
浦语提示词工程实践(LangGPT版,服务器上部署internlm2-chat-1_8b,踩坑很多才完成的详细教程,)
人工智能·自然语言处理·大模型
新加坡内哥谈技术14 分钟前
微软 Ignite 2024 大会
人工智能
江瀚视野40 分钟前
Q3净利增长超预期,文心大模型调用量大增,百度未来如何分析?
人工智能
陪学1 小时前
百度遭初创企业指控抄袭,维权还是碰瓷?
人工智能·百度·面试·职场和发展·产品运营
QCN_1 小时前
湘潭大学人工智能考试复习1(软件工程)
人工智能
Landy_Jay1 小时前
深度学习:GPT-1的MindSpore实践
人工智能·gpt·深度学习
白光白光1 小时前
量子神经网络
人工智能·深度学习·神经网络
全域观察1 小时前
如何复制只读模式下的腾讯文档
人工智能·新媒体运营·媒体·内容运营·程序员创富