研究发现:提示中加入数百个示例显著提升大型语言模型的性能

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近期研究显示,当大型语言模型(LLMs)在提示中直接接收到数百甚至数千个示例时,它们在多种任务上的表现显著提升。这项由谷歌、DeepMind等机构的研究人员进行的研究探讨了LLMs在直接通过提示学习大量示例时性能的提升情况,这种方法被称为多示例上下文内学习(Many-Shot In-Context Learning,ICL)。

上下文内学习(ICL)意味着示例直接在上下文(即提示)中给出,不需像微调那样调整模型参数。后者耗时更多,也更昂贵。以往,由于模型一次不能处理和生成大量文本,通常只给模型提供少数几个示例(单示例、少示例)。现在,随着"上下文窗口"(一种短期记忆)的扩大,可以在提示中直接提供给模型数百甚至数千个示例(多示例)。

在使用谷歌的Gemini 1.5 Pro语言模型进行的测试中,该模型可以处理多达一百万个令牌(约70万词)的上下文。结果显示,多示例提示在翻译、总结、规划和回答问题等任务上的表现显著优于少示例提示。

例如,在使用大约1000个翻译示例的情况下,Gemini 1.5甚至在库尔德语和泰米尔语这两种语言的翻译上超越了谷歌翻译,这是迄今为止LLMs与谷歌翻译之间报告的最大差距。在新闻摘要方面,该模型几乎能与专门的程序相媲美,但偶尔会出现如错误的数据和时间等虚构信息,这些信息并未出现在学习示例中。此外,当示例超过50个后,性能开始下降,研究人员尚无法解释此现象。

对于复杂的逻辑任务,如数学或科学问题,研究人员让模型自己创造解决方案并将其作为额外的学习示例,这种方法("强化ICL")比人工创造的解决方案更为可靠。

在一个仅给出问题而不给解决方案的实验中("无监督ICL"),对于某些逻辑任务,这种方法仍然比几个完整的示例效果更好。然而,它通常无法达到"强化ICL"自生成解决方案的水平。研究还发现,模型通过示例"遗忘"了预训练中的错误,并且在给予足够多的示例后甚至能识别抽象的数学模式。然而,示例的给出顺序对模型产生了影响,使提示变得更加复杂。为什么性能有时在示例更多时反而下降,这仍是一个悬而未决的问题。未来的研究需要澄清这一点。

总之,这些结果显示,语言模型可以从提示中的许多示例中可靠地学习。这可能会在未来使针对特定任务的耗时训练变得不再必要。

相关推荐
张较瘦_1 分钟前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭1 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
麻雀无能为力4 小时前
CAU数据挖掘实验 表分析数据插件
人工智能·数据挖掘·中国农业大学
时序之心4 小时前
时空数据挖掘五大革新方向详解篇!
人工智能·数据挖掘·论文·时间序列
.30-06Springfield5 小时前
人工智能概念之七:集成学习思想(Bagging、Boosting、Stacking)
人工智能·算法·机器学习·集成学习
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技6 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_16 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎7 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎8 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程