【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话,可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型,在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而,虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识,并在微调阶段有利于下游任务,但也存在一定的局限性,如缺乏外部知识导致推理能力较差 。研究人员致力于将知识整合到plm中 ,以解决这些问题。在本文中,我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾,以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU)自然语言生成(NLG) 引入了合适的分类,以强调自然语言处理的两个主要任务。对于NLU,我们将知识类型分为四类:语言知识文本知识知识图谱(KG)规则知识 。该方法分为基于KG 的和基于检索 的两种。最后,我们指出了KE-PLM的一些有前景的发展方向。











相关推荐
Bearnaise2 天前
GaussianDreamer: Fast Generation from Text to 3D Gaussians——点云论文阅读(11)
论文阅读·人工智能·python·深度学习·opencv·计算机视觉·3d
PD我是你的真爱粉2 天前
Quality minus junk论文阅读
论文阅读
regret~3 天前
【论文笔记】LoFLAT: Local Feature Matching using Focused Linear Attention Transformer
论文阅读·深度学习·transformer
Maker~3 天前
23、论文阅读:基于多分辨率特征学习的层次注意力聚合GAN水下图像增强
论文阅读·学习·生成对抗网络
Q_yt3 天前
【图像压缩感知】论文阅读:Content-Aware Scalable Deep Compressed Sensing
论文阅读
江海寄3 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review(三)总结梳理-疑点记录
论文阅读·人工智能·深度学习·机器学习·计算机视觉·语言模型·视觉检测
江海寄3 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review (四)三种分类方法对比
论文阅读·人工智能·深度学习·机器学习·计算机视觉·分类
代码太难敲啊喂3 天前
【Anomaly Detection论文阅读记录】Resnet网络与WideResNet网络
论文阅读·人工智能
YunTM3 天前
革新预测领域:频域融合时间序列预测,深度学习新篇章,科研涨点利器
论文阅读·人工智能·深度学习
Ayakanoinu3 天前
【论文阅读】Adversarial Examples for Handcrafted Features
论文阅读