PairRE: Knowledge Graph Embeddings via Paired Relation Vectors(论文笔记)

CCF等级:A

发布时间:2020年11月

代码位置

25年3月24日交

目录

一、简介

二、原理

1.整体

2.关系模式

3.优化模型

三、实验性能

四、结论和未来工作


一、简介

将RotatE进行生级,RotatE只对头实体h进行计算,PairRE对头尾实体都进行计算。


二、原理

1.整体

PairRE

PairRE评分函数:

每个关系 r 都由一对向量 来表示,意味着知识图谱中的每一个关系,都会有一组特定的头向量和尾向量与其对应。当同一个关系 r 在不同的三元组中出现时,它使用相同的 向量。提高了向量的利用率,并在一定程度上增加了模型的解释性。

2.关系模式

PairRE可以处理1-to-N、N-to-1、N-to-N这种复杂关系。因为PairRE将关系转化为向量对,因此可以处理对称/反对称关系、逆关系、编码组合关系、子关系。

  • **对称关系:**例如"朋友"关系。如果 e1 是 e2 的朋友,那么 e2 也是 e1 的朋友。这可以用三元组表示为:(e1,朋友,e2)∈T⇔(e2,朋友,e1)∈T。
  • **反对称关系:**例如"父亲"关系。如果 e1 是 e2 的父亲,则 e2不可能是 e1 的父亲。这可以用三元组表示为:(e1,父亲,e2)∈T⇒(e2,父亲,e1)∉T。
  • **逆关系:**例如"父亲","儿子"关系。如果 e1 是 e2 的父亲,则 e2是 e1 的儿子。这可以用三元组表示为: (e1,父亲,e2)∈T,则有 (e2,儿子,e1)∈T。
  • 组合关系: 例如"母亲的父亲"和"祖父"之间的关系。如果 e1 是 e2 的母亲,并且 e2 是 e3 的父亲,则实体 e1 是实体 e3的祖父。这用三元组表示为:
    (e1,母亲,e2)∈T并且 (e2,父亲,e3)∈T,则有 (e1,祖父,e3)∈T。
  • **子关系:**例如"父亲"和"家长"关系。如果 e1 是 e2 的父亲,则 e1 是 e2 的家长。这用三元组表示为:(e1,父亲,e2)∈T⇒(e1,家长,e2)∈T。

给定一个关系 r ,计算每个头实体的平均尾实体数(tphr)和每个尾实体的平均头实体数(hptr)。

  • ,则关系
  • ,则关系
  • ,则关系

3.优化模型

PairRE模型利用了自对抗负采样损失来优化模型。具体来说,该方法的目的是通过最大化正样本的得分同时最小化负样本的得分来训练模型。以下是PairRE使用负采样进行优化的具体步骤和公式:

其中:

  • 是一个固定边界值。
  • 是Sigmoid函数。
  • 表示第 i 个负样本三元组。
  • 表示负样本的权重,其计算方式为:

三、实验性能

表 3 展示了 ogbl-wikikg2 和 ogbl-biokg 的对比情况。在这两个大规模数据集上,PairRE 达到了最先进的性能。对于 ogbl-wikikg2 数据集,PairRE在有限嵌入维度和增加嵌入维度的情况下均表现最佳。在参数数量与 ComplEx 相同(维度为 100)的情况下,PairRE测试 MRR 提升了近 10%。

表 4 展示了 FB15k 和 FB15k-237 数据集的对比情况。由于PairRE模型与 RotatE 共享相同的超参数设置和实现方式,因此与这一最先进的模型进行比较是公平的,能够展示所提出模型的优势和不足。

文章将 RotatE 中的关系向量改为成对向量。在修改后的 RotatE 模型中,头实体和尾实体均基于成对向量以不同的角度进行旋转该模型也可以被视为基于复数值的PairRE。文章将此模型命名为 RotatE+PairRelation。实验结果如图 2 所示。在相同的嵌入维度(实验中为 50)下,RotatE+PairRelation 在 1 对1、1 对 N、N 对 1 和 N 对 N 关系类别上分别将RotatE 的性能提高了 20.8%、27.5%、14.4% 和39.1%。这些显著的改进证明了成对关系向量处理复杂关系的优越能力。

四、结论和未来工作

  1. 提高计算效率
  2. 增强关系模式表达能力
  3. 结合其他先进技术(如神经网络)
  4. 深入研究"RotatE+PairRelation"
相关推荐
特立独行的猫a2 小时前
HarmonyOS 【诗韵悠然】AI古诗词赏析APP开发实战从零到一系列(一、开篇,项目介绍)
人工智能·华为·harmonyos·古诗词
yu4106212 小时前
2025年中期大语言模型实力深度剖析
人工智能·语言模型·自然语言处理
feng995205 小时前
技术伦理双轨认证如何重构AI工程师能力评估体系——基于AAIA框架的技术解析与行业实证研究
人工智能·aaif·aaia·iaaai
2301_776681655 小时前
【用「概率思维」重新理解生活】
开发语言·人工智能·自然语言处理
蜡笔小新..5 小时前
从零开始:用PyTorch构建CIFAR-10图像分类模型达到接近1的准确率
人工智能·pytorch·机器学习·分类·cifar-10
富唯智能6 小时前
转运机器人可以绕障吗?
人工智能·智能机器人·转运机器人
视觉语言导航7 小时前
湖南大学3D场景问答最新综述!3D-SQA:3D场景问答助力具身智能场景理解
人工智能·深度学习·具身智能
AidLux7 小时前
端侧智能重构智能监控新路径 | 2025 高通边缘智能创新应用大赛第三场公开课来袭!
大数据·人工智能
引量AI7 小时前
TikTok矩阵运营干货:从0到1打造爆款矩阵
人工智能·矩阵·自动化·tiktok矩阵·海外社媒
Hi-Dison7 小时前
神经网络极简入门技术分享
人工智能·深度学习·神经网络