【论文笔记】Unifying Large Language Models and Knowledge Graphs:A Roadmap

(后续更新完善)

2. KG-ENHANCED LLMS

2.1 KG-enhanced LLM Pre-training

以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中,2)将KGs集成到LLM输入中,3)将KGs集成到附加的融合模块中。

2.1.1 Integrating KGs into Training Objective

这一类的研究工作集中在设计新的知识感知训练目标,一个直观的想法是在预训练目标中暴露出更多的知识实体。

例如:

GLM利用知识图谱结构来分配一个掩盖概率。具体来说,可以在一定数量的跳数内到达的实体被认为是最重要的学习实体,在预训练期间,它们被赋予更高的屏蔽概率。

E-BERT进一步控制标记级和实体级训练损失之间的平衡。训练损失值被用作标记和实体的学习过程的指示,它动态地确定它们在下一个训练周期的比例。

SKEP采用了类似的融合方法,在LLMs预训练期间注入情感知识。SKEP首先通过利用PMI和一组预定义的种子情感词来确定具有积极和消极情感的词。然后,它在词语掩蔽目标中为这些确定的情感词语分配一个较高的掩蔽概率。

另一项工作是明确利用与知识和输入文本的联系。

如图9所示,ERNIE提出了一个新的词-实体对齐训练目标作为预训练目标。

具体来说,ERNIE将文本中提到的句子和相应的实体都输入到LLM中,然后训练LLM来预先决定文本标记和知识图谱中实体之间的对齐链接。

KALM通过纳入实体嵌入来增强输入的标记,除了纯标记的预训练目标外,还包括一个实体预测预训练任务。这种方法旨在提高LLM捕获与实体有关的知识的能力。

KEPLER直接将知识图谱嵌入训练目标和Masked token预训练目标纳入一个基于共享变压器的编码器。

确定性的LLM专注于预训练语言模型以捕获确定性的事实知识。它只对有确定性实体作为问题的跨度进行遮蔽,并引入了额外的线索对比学习和线索分类目标。

WKLM首先用其他同类型的实体替换文本中的实体,然后将其送入LLMs。该模型被进一步预训练以区分实体是否被替换。

相关推荐
Dawson Zhu2 小时前
【模型量化⑤】Weight-Only INT4:AWQ与GPTQ两大算法深度解析
人工智能·语言模型·架构·aigc·agi
Eastmount6 小时前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
澹锦汐12 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
攒了一袋星辰1 天前
AI 求职长期记忆原理解析:从碎片经历到贝叶斯能力星图
知识图谱·agent·rag·ai工程·校招面试
一起学安全技术2 天前
拆大模型 11|大模型面试拷问:12 问逐层拆
人工智能·ai·语言模型·面试·职场和发展·求职招聘
学无止境小袁同学3 天前
LangGraph 深度指南
语言模型·框架·agent·并发·上下文·langgraph·长期记忆
龙腾AI白云3 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱
一起学安全技术3 天前
拆大模型 10|结构化输出:让模型返回数据,而不是一段话
人工智能·语言模型·json
龙腾AI白云4 天前
具身智能模仿学习与人类示教:从观察中习得动作
数据库·机器学习·知识图谱·pygame
AllData公司负责人5 天前
第九篇:AI大模型数据开发底座系列说明书:AllData集成BISHENG开源项目建设大模型应用开发底座,涵盖可视化编排/智能助手/一键API/模型接入!
人工智能·云原生·数据分析·视觉检测·知识图谱·大模型应用·bisheng