Revisiting Large Language Models as Zero-shot Relation Extractors

本文是LLM系列文章,针对《Revisiting Large Language Models as Zero-shot Relation Extractors》的翻译。

修改大型语言模型作为零样本关系提取器

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 问题定义](#3 问题定义)
  • [4 提示设计](#4 提示设计)
  • [5 实验](#5 实验)
  • [6 结论](#6 结论)

摘要

即使在零样本设置下,关系提取(RE)也始终涉及一定程度的标记或未标记数据。最近的研究表明,只要给出自然语言提示,大型语言模型(LLM)就可以很好地转换到开箱即用的新任务中,这提供了在没有任何数据和参数调整的情况下从文本中提取关系的可能性。这项工作的重点是探索LLM,如ChatGPT,作为零样本关系提取器。一方面,我们分析了现有RE提示的缺点,并试图结合最近的提示技术,如思想链(CoT)来改进零样本RE。我们提出了总结和询问(SUMASK)提示,这是一种简单的提示,使用LLM递归地将RE输入转换为有效的问答(QA)格式。另一方面,我们在各种基准和设置上进行了全面的实验,以研究LLM在零样本RE上的能力。具体而言,我们有以下发现:(i)SUMASK在不同的模型大小、基准和设置下持续显著地提高了LLM的性能;(ii)与零样本和完全监督的方法相比,使用ChatGPT的零样本提示实现了具有竞争力或优越的结果;(iii)LLM在提取重叠关系方面提供了有希望的性能;(iv)不同关系的表现差异很大。与小型语言模型不同,LLM在处理挑战方面是有效的------没有上述(NoTA)关系。

1 引言

2 相关工作

3 问题定义

4 提示设计

5 实验

6 结论

这项工作对基于提示的LLM的零样本RE进行了全面的研究。除了VANILLA提示,我们还介绍了一种新颖的SUMASK提示,以充分探索LLM的力量。我们在六个基准上的实验证明了LLM在零样本RE中的能力。此外,我们能够回答上述三个问题。最近的提示技术(如CoT)显著改进了零样本RE提示。与最先进的关系分类模型相比,正确指导的LLM不仅提供了具有竞争力或优越的结果,而且对于零样本重叠RE也很有希望。

相关推荐
AndrewHZ8 分钟前
【图像处理基石】如何入门大规模三维重建?
人工智能·深度学习·大模型·llm·三维重建·立体视觉·大规模三维重建
5G行业应用12 分钟前
【赠书福利,回馈公号读者】《智慧城市与智能网联汽车,融合创新发展之路》
人工智能·汽车·智慧城市
悟空胆好小21 分钟前
分音塔科技(BABEL Technology) 的公司背景、股权构成、产品类型及技术能力的全方位解读
网络·人工智能·科技·嵌入式硬件
探讨探讨AGV21 分钟前
以科技赋能未来,科聪持续支持青年创新实践 —— 第七届“科聪杯”浙江省大学生智能机器人创意竞赛圆满落幕
人工智能·科技·机器人
cwn_38 分钟前
回归(多项式回归)
人工智能·机器学习·数据挖掘·回归
聚客AI1 小时前
🔥 大模型开发进阶:基于LangChain的异步流式响应与性能优化
人工智能·langchain·agent
cooldream20091 小时前
Python 包管理新时代:深入了解 `uv` 的使用与实践
python·uv·包管理器
之歆1 小时前
Python-魔术方法-创建、初始化与销毁-hash-bool-可视化-运算符重载-容器和大小-可调用对象-上下文管理-反射-描述器-二分-学习笔记
笔记·python·学习
CareyWYR1 小时前
每周AI论文速递(250707-250711)
人工智能
AI街潜水的八角2 小时前
深度学习图像分类数据集—五种电器识别分类
人工智能·深度学习·分类