Revisiting Large Language Models as Zero-shot Relation Extractors

本文是LLM系列文章,针对《Revisiting Large Language Models as Zero-shot Relation Extractors》的翻译。

修改大型语言模型作为零样本关系提取器

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 问题定义](#3 问题定义)
  • [4 提示设计](#4 提示设计)
  • [5 实验](#5 实验)
  • [6 结论](#6 结论)

摘要

即使在零样本设置下,关系提取(RE)也始终涉及一定程度的标记或未标记数据。最近的研究表明,只要给出自然语言提示,大型语言模型(LLM)就可以很好地转换到开箱即用的新任务中,这提供了在没有任何数据和参数调整的情况下从文本中提取关系的可能性。这项工作的重点是探索LLM,如ChatGPT,作为零样本关系提取器。一方面,我们分析了现有RE提示的缺点,并试图结合最近的提示技术,如思想链(CoT)来改进零样本RE。我们提出了总结和询问(SUMASK)提示,这是一种简单的提示,使用LLM递归地将RE输入转换为有效的问答(QA)格式。另一方面,我们在各种基准和设置上进行了全面的实验,以研究LLM在零样本RE上的能力。具体而言,我们有以下发现:(i)SUMASK在不同的模型大小、基准和设置下持续显著地提高了LLM的性能;(ii)与零样本和完全监督的方法相比,使用ChatGPT的零样本提示实现了具有竞争力或优越的结果;(iii)LLM在提取重叠关系方面提供了有希望的性能;(iv)不同关系的表现差异很大。与小型语言模型不同,LLM在处理挑战方面是有效的------没有上述(NoTA)关系。

1 引言

2 相关工作

3 问题定义

4 提示设计

5 实验

6 结论

这项工作对基于提示的LLM的零样本RE进行了全面的研究。除了VANILLA提示,我们还介绍了一种新颖的SUMASK提示,以充分探索LLM的力量。我们在六个基准上的实验证明了LLM在零样本RE中的能力。此外,我们能够回答上述三个问题。最近的提示技术(如CoT)显著改进了零样本RE提示。与最先进的关系分类模型相比,正确指导的LLM不仅提供了具有竞争力或优越的结果,而且对于零样本重叠RE也很有希望。

相关推荐
SweetCode2 分钟前
裴蜀定理:整数解的奥秘
数据结构·python·线性代数·算法·机器学习
程序员Linc15 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
CryptoPP15 分钟前
springboot 对接马来西亚数据源API等多个国家的数据源
spring boot·后端·python·金融·区块链
xcLeigh23 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
大乔乔布斯23 分钟前
AttributeError: module ‘smtplib‘ has no attribute ‘SMTP_SSL‘ 解决方法
python·bash·ssl
果冻人工智能26 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_7978820935 分钟前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
明灯L36 分钟前
《函数基础与内存机制深度剖析:从 return 语句到各类经典编程题详解》
经验分享·python·算法·链表·经典例题
果冻人工智能36 分钟前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
databook37 分钟前
不平衡样本数据的救星:数据再分配策略
python·机器学习·scikit-learn