CCF等级：B
发布时间：2018年6月
25年3月31日交
目录
一、简介
RGCN通过允许不同关系类型之间的信息传播，能够更好地捕捉图中的复杂关系结构，从而提高了知识图谱补全的效果。
二、原理
1.整体
主要有三步。初始嵌入向量------信息交换与更新------链接预测或实体分类。
初始嵌入向量：利用已有的知识图谱嵌入方法，将实体转化为向量。（不重要）
R-GCN模型由多层神经网络组成，每一层都会更新每个节点的隐藏状态。对于每个节点，它的新隐藏状态依赖于它的邻居节点的信息以及与这些邻居之间的关系类型还有自己原本的信息。
例如：三元组（ h1 , r1 , t1 ）和（ h1 , r2 , t2 ）。
更新 h1 隐藏状态（信息）时，取决于邻居节点信息（ t1 和 t2 ），邻居之间的关系类型（ r1 和 r2 ），还有自己原本的信息 h1 。
经过多层的信息交换后，每个实体都会得到一个最终的嵌入向量，这个向量捕捉了该实体在其局部邻域中的上下文信息及与其他实体的关系。（太抽象了，目前看不懂）
最后使用解码器，对给定头实体和关系的三元组进行评分，选择得分最高的候选作为预测结果。（类似于嵌入模型的评分函数）
2.信息交换与更新
简单来说就是将这个节点与周围和它连接的实体、关系都进行计算，更新这个节点的信息。
其中， 是第
层节点 i 的隐藏状态
表示通过关系 r 与节点 i 相连的所有邻居节点集合，
是关系 r 对应的权重矩阵，
是激活函数（如ReLU），
是归一化常数，用于调整不同关系类型的贡献度。
文章中为了应对大规模多关系数据中的参数快速增长问题，提出了两种正则化技术。
2.1基分解
基分解的主要目的是通过共享权重来减少模型的参数数量，从而降低过拟合的风险，并提高模型处理稀疏关系类型的能力。在基分解中，每个关系特定的变换矩阵 被表示为一组基础变换矩阵的线性组合。
其中：
是第 l 层中关系 r 的变换矩阵。
2.2块对角矩阵
块对角矩阵分解的目标是通过对权重矩阵施加结构约束来减少参数数量，同时保留模型的表达能力。在块对角矩阵分解中，每个关系特定的变换矩阵 被定义为多个低维块矩阵的直接和。
其中：
这两种正则化技术共同作用，帮助R-GCN在处理大规模、多关系数据时更加高效和稳定，同时避免了过拟合的问题。在实际应用中，可以根据具体任务的需求选择合适的正则化方法。
3.实体分类或链接预测
3.1实体分类
使用交叉熵损失函数模型可以学习到更好的参数，从而提高分类的准确性。
其中：
- K表示类别总数
-
通过这种方式，模型能够逐步优化其参数，提高对实体分类的准确率。
3.2链接预测
- 编码器-解码器框架：采用了图自动编码器模型，其中包含一个用于生成实体向量表示的编码器（R-GCN）和一个用于评分潜在三元组的解码器（如DistMult）。
- 评分函数：使用了DistMult作为评分函数，这是一种简单而有效的因子分解方法，用于计算三元组的得分。
- 训练策略：利用负采样技术，并优化交叉熵损失，以提高模型区分正样本和负样本的能力。
评分函数：
其中
损失函数为：
| |表示集合大小。\frac{1}{1 + e^{-x}}表达。
三、结论和未来工作
1.考虑未来引入注意力机制.
2.探索更适合特定任务的解码器，以进一步提高模型性能。