【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话,可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型,在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而,虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识,并在微调阶段有利于下游任务,但也存在一定的局限性,如缺乏外部知识导致推理能力较差 。研究人员致力于将知识整合到plm中 ,以解决这些问题。在本文中,我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾,以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU)自然语言生成(NLG) 引入了合适的分类,以强调自然语言处理的两个主要任务。对于NLU,我们将知识类型分为四类:语言知识文本知识知识图谱(KG)规则知识 。该方法分为基于KG 的和基于检索 的两种。最后,我们指出了KE-PLM的一些有前景的发展方向。











相关推荐
梦星辰.3 小时前
EAGLE-3投机采样论文阅读
论文阅读
dundunmm19 小时前
【论文阅读】Self-Correcting Clustering
论文阅读·深度学习·数据挖掘·聚类
UQI-LIUWJ1 天前
论文笔记:Instruction-Tuning Llama-3-8B Excels in City-Scale MobilityPrediction
论文阅读
胆怯的ai萌新1 天前
论文阅读《Proximal Curriculum for Reinforcement Learning Agents》——提升智能体学习速度的
论文阅读
墨绿色的摆渡人2 天前
论文笔记(七十四)Dense Policy: Bidirectional Autoregressive Learning of Actions
论文阅读
s1ckrain2 天前
【论文阅读】VideoMerge: Towards Training-free Long Video Generation
论文阅读·人工智能·计算机视觉
Ayakanoinu2 天前
【论文阅读】Dynamic Adversarial Patch for Evading Object Detection Models
论文阅读·目标检测·目标跟踪
寻丶幽风2 天前
论文阅读笔记——ReconDreamer
论文阅读·笔记·自动驾驶·3dgs·世界模型·闭环仿真
金科铁码2 天前
提示词工程 — 科研论文笔记
论文阅读
0x2113 天前
[论文阅读]Attacking Open-domain Question Answering by Injecting Misinformation
论文阅读