UNIKGQA论文笔记

UNIKGQA: UNIFIED RETRIEVAL AND REASONING FOR SOLVING MULTI-HOP QUESTION ANSWERING OVER KNOWLEDGE GRAPH(ICLR 2023)

Introduction

知识图上的多跳问题回答(KGQA)的目的是在大规模知识图谱(KG)上找到自然语言问题中提到的主题实体,然后进行多跳推理得到答案实体。

现有方法局限性

为了应对庞大的搜索空间,现有的工作通常采用两阶段的方法:首先检索与问题相关的相对较小的子图,然后对子图进行推理,以准确地找到答案实体。虽然这两个阶段是高度相关的,但以前的工作采用了非常不同的技术解决方案来开发检索和推理模型,而忽略了它们在任务本质上的相关性。

UniKGQA

在本文中,我们提出了一种新的UniKGQA方法,该方法通过将检索和推理模型统一在模型架构和参数学习中,使得两个阶段更加紧密相关。具体来说,UniKGQA采用了基于预训练语言模型的语义匹配模块和匹配信息传播模块,并设计了共享预训练任务和检索、推理导向的微调策略。实验结果表明,UniKGQA在三个基准数据集上表现出了很好的效果。

Methodology

统一模型体系结构

Semantic Matching (SM)

语义匹配模块旨在生成问题与知识图谱中三元组的语义匹配特征。

Matching Information Propagation (MIP)

MIP模块基于生成的语义匹配特征,首先对其进行聚合,更新实体表示,然后利用其获得实体匹配得分。

训练

多跳KGQA的两个阶段有检索模型和推理模型。由于这两个模型采用相同的架构,我们引入Θ和Γ来分别表示用于检索和推理阶段的模型参数。

模型体系结构包含两组参数,即底层的PLM和其他用于匹配和传播的参数。因此,Θ和Γ可以分解为: Θ = {Θp,Θo}和Γ = {Γp,Γo},其中下标p和o分别表示PLM参数和我们的架构中的其他参数。为了学习这些参数,我们设计了基于统一体系结构的预训练(即问题-关系匹配)和微调(即面向检索和推理的学习)策略。

Pre-training with Question-Relation Matching(QRM)

给定一个问题q,主题实体Tq和答案实体Aq,从整个KG中提取所有从Tq到Aq的最短路径,这些最短路径所包含的关系可以认为是与q相关的,将其集合表示为R+。在训练前,对于每个问题q,我们随机抽取一个相关的关系r+∈R+,利用对比学习损失进行预训练:

Fine-tuning for Retrieval on Abstract Subgraphs (RAS)

SA为抽象子图中的抽象结点的得分,如果抽象结点包括答案实体,将S*A=1赋给抽象节点。

在对RAS损失进行微调后,可以有效地学习检索模型。进一步利用它来检索给定问题q的子图,根据匹配分数选择排名前k的节点。只有与主题实体保持合理距离内的节点才会被选择到子图中。

Fine-tuning for Reasoning on Retrieved Subgraphs (RRS)

在对RRS损失进行微调后,可以利用学习到的推理模型,根据匹配分数选择排名前n位的实体作为答案列表。

Experiments

数据集

评价指标

子图提取评估标准:answer coverage rate (%)

推理评估标准:Hits@1,F1

结果

消融实验

Conclusion

提出了一种新的统一模型架构,可以同时处理多跳KGQA任务中的检索和推理阶段。使用抽象子图来减少检索阶段中节点的数量,从而提高效率。设计了有效的学习方法,包括预训练和微调策略,以利用两个阶段之间的共享信息,并提高了性能。在三个基准数据集上进行了广泛的实验,并取得了比现有最佳基线更好的结果。

方法创新点

创新地提出了一个统一的模型架构,将KGQA任务的检索和推理阶段紧密联系起来,以便更好地共享和传递相关信息。引入了抽象子图的概念,通过合并具有相同前缀(即相同的头部实体和关系)的尾部实体来减少检索阶段中节点的数量,从而提高了效率。设计了有效的学习方法,包括预训练和微调策略,以利用两个阶段之间的共享信息,并提高了性能。

未来展望

该研究为多跳KGQA提供了一个更加统一和简化的方法,但仍需要进一步探索如何更好地处理不同规模的数据分布以及如何更有效地分享和转移信息。可以考虑使用更多的预训练技术来进一步提高模型的性能。未来的研究还可以探索如何将这种方法扩展到其他类型的自然语言问答任务中。

相关推荐
山海青风14 分钟前
藏语自然语言处理入门 - 5 文本归类
人工智能·自然语言处理
十步杀一人_千里不留行18 分钟前
和 AI 一起修 Bug 心得体会
人工智能·bug·ai编程
红苕稀饭66619 分钟前
Logit论文阅读
论文阅读
网安INF23 分钟前
【论文阅读】-《Sparse and Imperceivable Adversarial Attacks》
论文阅读·人工智能·计算机视觉·网络安全·对抗攻击
yzx99101329 分钟前
多模态分类:图文结合的智能识别与代码实战
人工智能·分类·数据挖掘
小蕾Java1 小时前
PyCharm2025.2 大更新,AI是亮点!
人工智能·python
通信小呆呆1 小时前
动态目标检测与跟踪:基于卡尔曼滤波的门限关联与可视化全流程
人工智能·目标检测·机器学习
格林威1 小时前
液态透镜技术在工业镜头中的应用?
人工智能·数码相机·opencv·计算机视觉·视觉检测·相机·工业镜头
Single2 小时前
从“端到端”到“人到人”:一种以需求直接满足为核心的新一代人机交互范式
人工智能·物联网·人机交互·具身智能
聪明的笨猪猪2 小时前
Java 高并发多线程 “基础”面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试