【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话,可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型,在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而,虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识,并在微调阶段有利于下游任务,但也存在一定的局限性,如缺乏外部知识导致推理能力较差 。研究人员致力于将知识整合到plm中 ,以解决这些问题。在本文中,我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾,以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU)自然语言生成(NLG) 引入了合适的分类,以强调自然语言处理的两个主要任务。对于NLU,我们将知识类型分为四类:语言知识文本知识知识图谱(KG)规则知识 。该方法分为基于KG 的和基于检索 的两种。最后,我们指出了KE-PLM的一些有前景的发展方向。











相关推荐
nenchoumi311914 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln
何大春17 小时前
【视频时刻检索】Text-Video Retrieval via Multi-Modal Hypergraph Networks 论文阅读
论文阅读·深度学习·神经网络·计算机视觉·视觉检测·论文笔记
王上上21 小时前
【论文阅读25】-滑坡时间预测-PFTF
论文阅读
李一帆'21 小时前
【论文阅读】Hierarchical Group-Level Emotion Recognition
论文阅读·计算机视觉
nenchoumi31192 天前
VLA 论文精读(十八)π0.5: a Vision-Language-Action Model with Open-World Generalization
论文阅读·人工智能·深度学习·语言模型·vla
江左子固2 天前
《Deep Learning Inference on Embedded Devices: Fixed-Point vs Posit》(一)
论文阅读
nenchoumi31193 天前
LLM 论文精读(二)Training Compute-Optimal Large Language Models
论文阅读·人工智能·笔记·学习·语言模型·自然语言处理
爱补鱼的猫猫3 天前
20、 DeepSeekMoE论文笔记
论文阅读·deepseekmoe
李一帆'3 天前
【论文阅读】Dual-branch Cross-Patch Attention Learning for Group Affect Recognition
论文阅读
初级炼丹师(爱说实话版)3 天前
Representation Flow for Action Recognition论文笔记
论文阅读