Pre-trained Language Models Can be Fully Zero-Shot Learners

本文是LLM系列文章,针对《Pre-trained Language Models Can be Fully Zero-Shot Learners》的翻译。

预训练语言模型可以是完全零样本的学习者

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 背景:PLMs基于提示的调整](#3 背景:PLMs基于提示的调整)
  • [4 提出的方法:NPPrompt](#4 提出的方法:NPPrompt)
  • [5 实验](#5 实验)
  • [6 讨论](#6 讨论)
  • [7 结论](#7 结论)
  • 局限性

摘要

在没有标记或额外的未标记数据的情况下,我们如何将预先训练的模型扩展到许多语言理解任务?经过预训练的语言模型(PLM)对于广泛的NLP任务是有效的。然而,现有的方法要么需要对下游标记的数据集进行微调,要么需要手动构建适当的提示。在本文中,我们提出了非参数提示PLM(NPPrompt)来完全理解零样本语言。与以前的方法不同,NPPrompt只使用预先训练的语言模型,不需要任何标记数据或额外的原始语料库来进行进一步的微调,也不依赖于人类来构建一组全面的提示标签词。在不同的NLP任务中,我们将NPPrompt与以前的主要小样本和零样本学习方法进行比较:文本分类、文本蕴涵、相似文本检索、转述和多选问题回答。实验结果表明,我们的NPPrompt在很大程度上优于以前最好的完全零样本方法,在文本分类上的准确率和在GLUE基准上的准确度分别提高了12.8%和15.6%。我们的源代码可在https://github.com/Xuandong Zhao/NPPrompt

1 引言

2 相关工作

3 背景:PLMs基于提示的调整

4 提出的方法:NPPrompt

5 实验

6 讨论

7 结论

在这篇文章中,我们提出了NPPrompt,这是一种新颖而有效的方法,可以通过预先训练的语言模型来实现完全零样本学习。我们使用PLM的初始单词嵌入来自动查找类别名称的相关单词,这使我们能够在没有手动设计或未标记语料库的情况下构建动词化器。实验结果表明,NPPrompt在很大程度上优于以前的零样本方法。

局限性

对于那些没有语义的标签名称,NPPrompt仍然需要几个关键字才能正常工作。此外,本研究仅关注零样本设置。然而,在实际应用中普遍存在的小样本场景中也有潜在的探索途径。NPPrompt是否适用于其他任务,如排名和关系提取,仍不确定,需要进一步调查。设计一种细化方法来联合搜索标签词和模板可能是未来研究的一个很有前途的方向。

相关推荐
说私域1 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
永洪科技1 小时前
永洪科技荣获商业智能品牌影响力奖,全力打造”AI+决策”引擎
大数据·人工智能·科技·数据分析·数据可视化·bi
shangyingying_11 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎2 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
猫头虎3 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
要努力啊啊啊3 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
CareyWYR3 小时前
大模型真的能做推荐系统吗?ARAG论文给了我一个颠覆性的答案
人工智能
特立独行的猫a3 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
SKYDROID云卓小助手3 小时前
无人设备遥控器之自动调整编码技术篇
人工智能·嵌入式硬件·算法·自动化·信号处理