【知识增强】A Survey of Knowledge-Enhanced Pre-trained LM 论文笔记

A Survey of Knowledge-Enhanced Pre-trained Language Models

Linmei Hu, Zeyi Liu, Ziwang Zhao, Lei Hou, Liqiang Nie, Senior Member, IEEE and Juanzi Li

2023年8月的一篇关于知识增强预训练模型的文献综述

论文思维导图

思维导图网页上看不清的话,可以存储到本地再看

大纲笔记

摘要: 预训练语言模型(PLMs)是在大型文本语料库上通过自我监督学习方法进行训练的一种语言模型,在自然语言处理(NLP)的各种任务中都取得了良好的性能。然而,虽然具有巨大参数的plm能够有效地拥有从大量训练文本中学习到的丰富知识,并在微调阶段有利于下游任务,但也存在一定的局限性,如缺乏外部知识导致推理能力较差 。研究人员致力于将知识整合到plm中 ,以解决这些问题。在本文中,我们对知识增强预训练语言模型(KE-PLMs)进行了全面的回顾,以对这一蓬勃发展的领域提供一个清晰的认识。我们分别为 自然语言理解(NLU)自然语言生成(NLG) 引入了合适的分类,以强调自然语言处理的两个主要任务。对于NLU,我们将知识类型分为四类:语言知识文本知识知识图谱(KG)规则知识 。该方法分为基于KG 的和基于检索 的两种。最后,我们指出了KE-PLM的一些有前景的发展方向。











相关推荐
有Li10 小时前
通过具有一致性嵌入的大语言模型实现端到端乳腺癌放射治疗计划制定|文献速递-最新论文分享
论文阅读·深度学习·分类·医学生
张较瘦_13 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
selia107816 小时前
[论文阅读] Neural Architecture Search: Insights from 1000 Papers
论文阅读
寻丶幽风17 小时前
论文阅读笔记——NoPoSplat
论文阅读·笔记·三维重建·3dgs·相机位姿·dustr
寻丶幽风1 天前
论文阅读笔记——VGGT: Visual Geometry Grounded Transformer
论文阅读·笔记·transformer·三维重建·3dgs·vggt
张较瘦_1 天前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
非英杰不图1 天前
论文阅读:Align and Prompt (ALPRO 2021.12)
论文阅读·prompt
qq_416276421 天前
当SAM遇到声纳图像时之论文阅读
论文阅读
王上上1 天前
【论文阅读38】-结合应力预测位移
论文阅读
张较瘦_11 天前
[论文阅读] 软件工程 + 教学 | 软件工程项目管理课程改革:从传统教学到以学生为中心的混合式学习实践
论文阅读·学习·软件工程