【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话,可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型,在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而,虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识,并在微调阶段有利于下游任务,但也存在一定的局限性,如缺乏外部知识导致推理能力较差 。研究人员致力于将知识整合到plm中 ,以解决这些问题。在本文中,我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾,以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU)自然语言生成(NLG) 引入了合适的分类,以强调自然语言处理的两个主要任务。对于NLU,我们将知识类型分为四类:语言知识文本知识知识图谱(KG)规则知识 。该方法分为基于KG 的和基于检索 的两种。最后,我们指出了KE-PLM的一些有前景的发展方向。











相关推荐
大拨鼠5 小时前
【多模态读论文系列】MINIGPT-4论文笔记
论文阅读
计算机-秋大田5 小时前
基于Spring Boot的船舶监造系统的设计与实现,LW+源码+讲解
java·论文阅读·spring boot·后端·vue
ssf-yasuo6 小时前
SPIRE: Semantic Prompt-Driven Image Restoration 论文阅读笔记
论文阅读·笔记·prompt
YMWM_7 小时前
论文阅读《Structure-from-Motion Revisited》
论文阅读
是瑶瑶子啦7 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
咔叽布吉10 小时前
【论文阅读笔记】CamoFormer: Masked Separable Attention for Camouflaged Object Detection
论文阅读·笔记·目标检测
热情的Dongming1 天前
【课程总结】day34:多模态大模型之ViT模型、CLIP模型论文阅读理解
论文阅读
chencjiajy1 天前
向量模型Jina Embedding: 从v1到v3论文笔记
论文阅读·embedding·向量模型
HollowKnightZ1 天前
论文阅读笔记:DRCT: Saving Image Super-Resolution away from Information Bottleneck
论文阅读·笔记