Revisiting Large Language Models as Zero-shot Relation Extractors

本文是LLM系列文章,针对《Revisiting Large Language Models as Zero-shot Relation Extractors》的翻译。

修改大型语言模型作为零样本关系提取器

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 问题定义](#3 问题定义)
  • [4 提示设计](#4 提示设计)
  • [5 实验](#5 实验)
  • [6 结论](#6 结论)

摘要

即使在零样本设置下,关系提取(RE)也始终涉及一定程度的标记或未标记数据。最近的研究表明,只要给出自然语言提示,大型语言模型(LLM)就可以很好地转换到开箱即用的新任务中,这提供了在没有任何数据和参数调整的情况下从文本中提取关系的可能性。这项工作的重点是探索LLM,如ChatGPT,作为零样本关系提取器。一方面,我们分析了现有RE提示的缺点,并试图结合最近的提示技术,如思想链(CoT)来改进零样本RE。我们提出了总结和询问(SUMASK)提示,这是一种简单的提示,使用LLM递归地将RE输入转换为有效的问答(QA)格式。另一方面,我们在各种基准和设置上进行了全面的实验,以研究LLM在零样本RE上的能力。具体而言,我们有以下发现:(i)SUMASK在不同的模型大小、基准和设置下持续显著地提高了LLM的性能;(ii)与零样本和完全监督的方法相比,使用ChatGPT的零样本提示实现了具有竞争力或优越的结果;(iii)LLM在提取重叠关系方面提供了有希望的性能;(iv)不同关系的表现差异很大。与小型语言模型不同,LLM在处理挑战方面是有效的------没有上述(NoTA)关系。

1 引言

2 相关工作

3 问题定义

4 提示设计

5 实验

6 结论

这项工作对基于提示的LLM的零样本RE进行了全面的研究。除了VANILLA提示,我们还介绍了一种新颖的SUMASK提示,以充分探索LLM的力量。我们在六个基准上的实验证明了LLM在零样本RE中的能力。此外,我们能够回答上述三个问题。最近的提示技术(如CoT)显著改进了零样本RE提示。与最先进的关系分类模型相比,正确指导的LLM不仅提供了具有竞争力或优越的结果,而且对于零样本重叠RE也很有希望。

相关推荐
半盏茶香6 分钟前
启幕数据结构算法雅航新章,穿梭C++梦幻领域的探索之旅——堆的应用之堆排、Top-K问题
java·开发语言·数据结构·c++·python·算法·链表
我有医保我先冲23 分钟前
AI大模型与人工智能的深度融合:重构医药行业数字化转型的底层逻辑
人工智能·重构
pen-ai1 小时前
【NLP】15. NLP推理方法详解 --- 动态规划:序列标注,语法解析,共同指代
人工智能·自然语言处理·动态规划
Chaos_Wang_1 小时前
NLP高频面试题(二十九)——大模型解码常见参数解析
人工智能·自然语言处理
liuhaoran___1 小时前
解释区块链技术的应用场景和优势
python
独好紫罗兰1 小时前
洛谷题单2-P5712 【深基3.例4】Apples-python-流程图重构
开发语言·python·算法
Acrelhuang1 小时前
8.3MW屋顶光伏+光储协同:上海汽车变速器低碳工厂的能源革命-安科瑞黄安南
大数据·数据库·人工智能·物联网·数据库开发
区块链蓝海1 小时前
沉浸式体验测评|AI Ville:我在Web3小镇“生活”了一周
人工智能·web3·生活
东方佑1 小时前
深度解析Python-PPTX库:逐层解析PPT内容与实战技巧
开发语言·python·powerpoint