【大语言模型】ACL2024论文-36 利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类

【大语言模型】ACL2024论文-36 利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类


目录

文章目录


文章

Leveraging Codebook Knowledge with NLI and ChatGPT for Zero-Shot Political Relation Classification
利用NLI和ChatGPT及编码簿知识进行零样本政治关系分类*

摘要

本研究探讨了如何不依赖大量标注数据,通过利用现有标注编码簿中的专家知识,实现政治关系分类的零样本学习方法。研究评估了先进的ChatGPT(GPT-3.5/4)和基于自然语言推理(NLI)的模型ZSP的性能。ChatGPT使用编码簿的标记摘要作为提示,而ZSP将分类任务分解为上下文、事件模式和类别消歧,以提炼特定任务的假设。这种分解增强了可解释性、效率和对模式变化的适应性。实验揭示了ChatGPT的优势和局限性,并关键地显示了ZSP在字典基础上的方法和一些监督模型中的优越性。这些发现证实了ZSP在验证事件记录和推进本体发展中的价值。研究强调了利用迁移学习和现有领域专业知识提高研究效率和可扩展性的有效性。代码公开可用。

创新点

  1. 零样本学习在政治关系分类中的应用:研究提出了在政治关系分类任务中应用零样本学习方法,这在以往的研究中较为少见。
  2. 结合编码簿知识和预训练语言模型:通过结合编码簿中的专家知识和先进的预训练语言模型(如ChatGPT和NLI),提高了分类任务的性能和适应性。
  3. ZSP模型的提出:提出了一种新的基于NLI的模型ZSP,该模型通过分解任务来提高分类的准确性和可解释性。
  4. 适应性与可解释性:ZSP模型的设计允许轻松适应本体或模式的变化,同时提供了更好的可解释性。
  5. 代码公开:研究提供了公开的代码,使得其他研究者可以复现和进一步研究该工作。

算法模型

ChatGPT

ChatGPT使用编码簿的标记摘要作为提示,以进行零样本的政治关系分类。这种方法利用了预训练语言模型的能力,通过将编码簿知识转化为模型可以理解的提示,从而在没有大量标注数据的情况下进行分类。

ZSP模型

ZSP(Zero-Shot fine-grained relation classification model for PLOVER ontology)是一种基于自然语言推理(NLI)的模型,它将分类任务分解为三个部分:上下文、事件模式和类别消歧。这种分解方法不仅提高了任务的可解释性,还增强了模型对模式变化的适应性。

实验效果

数据集
  • PLV数据集:从CAMEO编码簿和CoPED数据集中构建,包含1050个训练样本和1033个测试样本。
  • A/W数据集:从ACE和WikiEvents数据集中构建,包含802个训练样本和805个测试样本。
基线模型
  • 字典基础模型:如Universal PETRARCH(UP)。
  • 监督学习模型:包括BERT-base-uncased、ConfliBERT-scruncased(CBERT)、BART和T5。
结果与结论
  • ZSP模型:在大多数任务中,ZSP模型的性能与监督学习模型相当,甚至在某些情况下超过了它们。特别是在PLV-Quadcode任务中,ZSP与BERT和T5的性能相当,而CBERT和BART的性能仅略高于ZSP(不到4.3%的差距)。
  • ChatGPT模型:GPT-3.5在细粒度分类任务中表现不稳定,而GPT-4则在减少格式错误和处理更长输入方面表现出色。GPT-4的有效性表明了大型语言模型在零样本学习中的潜力。
  • ZSP的混淆矩阵:分析显示ZSP在大多数Rootcodes上分类准确,但在AGREE、SUPPORT、AID和YIELD等标签上存在一些误分类,这些标签之间存在微妙的语义差异。

推荐阅读指数:4/5


后记

如果您对我的博客内容感兴趣,欢迎三连击( 点赞、收藏和关注 );期待留下您的评论;我将持续为您带来计算机人工智能前沿技术(尤其是AI相关的大语言模型,深度学习,计算机视觉相关方向)最新学术论文及工程实践方面的内容分享,助力您更快更准更系统地了解 AI前沿技术

相关推荐
澪-sl9 分钟前
基于CNN的人脸关键点检测
人工智能·深度学习·神经网络·计算机视觉·cnn·视觉检测·卷积神经网络
羊小猪~~24 分钟前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
摸爬滚打李上进42 分钟前
重生学AI第十六集:线性层nn.Linear
人工智能·pytorch·python·神经网络·机器学习
asyxchenchong8881 小时前
ChatGPT、DeepSeek等大语言模型助力高效办公、论文与项目撰写、数据分析、机器学习与深度学习建模
机器学习·语言模型·chatgpt
视觉语言导航2 小时前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
BFT白芙堂3 小时前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
Brduino脑机接口技术答疑4 小时前
脑机新手指南(二十一)基于 Brainstorm 的 MEG/EEG 数据分析(上篇)
数据挖掘·数据分析
羊小猪~~4 小时前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
xwz小王子4 小时前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
静心问道4 小时前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理