****论文题目：****Recurrent Event Network: Autoregressive Structure Inference over Temporal Knowledge Graphs（递归事件网络：时态知识图上的自回归结构推理）
****会议：****EMNLP 2020
****摘要：****知识图推理是自然语言处理中的关键任务。在时间知识图上，任务变得更具挑战性，其中每个事实都与一个时间戳相关联。现有的大多数方法侧重于过去时间戳的推理，不能预测未来发生的事实。提出了一种用于预测未来交互的自回归结构--递归事件网络(RE-Net)。事实(事件)的发生被建模为以过去知识图的时间序列为条件的概率分布。具体地说，我们的RE-Net使用递归事件编码器来编码过去的事实，并使用邻域聚合器来建模同一时间戳中的事实之间的联系。然后，可以根据这两个模块以顺序的方式推断未来的事实。我们通过在五个公共数据集上对未来时间的链接预测来评估我们所提出的方法。通过大量的实验，我们展示了Renet的优势，特别是在未来时间戳的多步推理上，并在所有五个数据集上获得了最先进的性能。
RE-NET：用自回归结构推断预测时序知识图谱中的未来事件 | EMNLP 2020
一、背景：知识图谱与时序推理
知识图谱（Knowledge Graph, KG）以三元组 (主体, 关系, 客体) 的形式存储现实世界的事实，是自然语言处理众多下游应用的核心基础设施。然而，现实世界中的事实往往不是永久成立的。例如"某国总统批评另一国"这一事件只在特定时间点发生，过了这个时间就未必成立。
为了刻画这种时效性，研究者引入了时序知识图谱（Temporal Knowledge Graph, TKG）：将每条事实关联一个时间戳，形成带时间标签的四元组 (s, r, o, t)。
论文 Figure 1：时序知识图谱示例，展示伊朗、韩国、法国等实体在
三个时间点上的交互事件，以及需要预测的未来时间步上的未知关系（图中以"？"标示）
在时序知识图谱上进行推理，主要有两种设定：
- 插值（Interpolation） ：预测训练时间范围
- 外推（Extrapolation） ：预测
外推任务更贴近实际应用场景（如地缘政治事件预测、新闻趋势预测），却长期被学术界忽视。RE-NET 正是专注于解决这一更具挑战性的外推任务。
二、现有方法的三大核心问题
问题1：大多数方法只能做插值，无力预测未来
TA-DistMult、HyTE、TNTComplEx 等主流时序知识图谱方法本质上是基于时间感知的嵌入学习，它们为已观测的时间戳学习表示，对训练期间从未出现过的未来时间戳则束手无策------因为这些时间戳根本没有对应的嵌入向量。
问题2：少数外推方法在推理时"作弊"
Know-Evolve 和 DyRep 虽然面向外推任务，但它们在推理阶段需要将**前序时间步的真实事件（ground truth）**作为条件输入。这在实验室评测中固然可行，但在实际部署时无从获取未来的真实标签，导致这类方法无法真正做到对多个未来时间步的连续预测。
问题3：同一时间窗口内的并发事件被忽视
在真实事件数据中，同一天（或同一小时）往往同时发生大量事件。Know-Evolve 采用时间点过程（temporal point process）建模，当同一时间戳内有多个并发事件 ,
时，处理完
后
（主体 s 最近的事件时间）会被更新为
，导致
的强度函数值
，所有候选实体的得分相同，排名完全失效（论文附录G详细揭示了这一代码级缺陷）。
此外，dyngraph2vecAE、tNodeEmbed、EvolveRGCN 等动态图方法只能处理同质图（单一关系类型），且只预测下一个时间步（t+1），无法应对多关系知识图谱和多步预测的需求。
三、RE-NET 的核心思路
针对上述问题，作者提出了 Recurrent Event Network (RE-NET)，一种面向时序知识图谱的自回归结构推断框架。其三个核心设计观察是：
- 时序依赖性：相邻时间步的事件之间存在语义关联和规律性模式，可用于辅助预测未来事件。
- 并发事件的局部图结构：同一时间窗口内的多个事件构成一个局部图，实体间的结构依赖关系对预测同样有价值。
- 多步推理的可分解性：对未来多步的预测可以分解为一系列单步条件分布的乘积，在自回归框架下逐步求解。
论文 Figure 2：RE-NET 整体架构图，展示聚合器（Aggregator）、编码器（Encoder）和解码器（Decoder）三个模块之间的数据流向，以及全局（Global）和局部（Local）两种信息的处理路径
四、方法详解
4.1 问题形式化与联合分布定义
RE-NET 将时序知识图谱视为一个事件四元组序列 ，其中
是时间步 t 上所有事件的集合。
模型目标是学习所有事件的生成分布 p(G)。RE-NET 以自回归方式将其分解为：
进一步假设 中各事件在给定历史的条件下相互独立，联合概率可拆解为：
生成时依次采样主体 s、关系 r、客体 o，最终通过 MLP 解码器（线性 softmax 分类器）输出每个候选实体的概率。
4.2 循环事件编码器（Recurrent Event Encoder）
为了捕捉历史事件序列中的时序依赖，RE-NET 引入了循环事件编码器，基于 GRU 维护三类动态表示：
全局表示 ：汇总整个图
的全局信息，反映当前时间步上各类事件的整体偏好：
局部表示 ：聚焦特定主体-关系对的历史交互，用于预测
：
局部表示 ：聚焦主体 s 的历史，用于预测
：
其中 是邻域聚合函数，
是时间步 t 时与主体 s 相关的所有事件集合。全局表示同时作为局部表示更新的额外输入，充当连接不同实体的"桥梁"。
4.3 邻域聚合器（Neighborhood Aggregator）
聚合函数 决定了如何从同一时间窗口内的并发邻居事件中提取局部图结构信息。RE-NET 设计并对比了三种聚合器：
论文 Figure 3：三种邻域聚合器的对比示意图。蓝色节点为主体 s，红色节点为1跳邻居，绿色节点为2跳邻居，不同颜色的边表示不同关系类型。均值聚合和注意力聚合不区分不同关系，也不编码2跳邻居；RGCN聚合可同时利用多关系和多跳邻居信息
（1）均值聚合（Mean Pooling） ：对所有在关系 r 下与 s 交互的客体嵌入取均值： 简单但忽略了邻居的差异重要性，且无法区分不同关系。
（2）注意力聚合（Attentive Pooling） ：引入基于主体 s 和关系 r 的加性注意力，为每个客体分配权重： 能区分不同邻居的重要性，但仍无法处理多关系和2跳邻居。
（3）RGCN 多关系图聚合（Multi-Relational Graph Aggregator） ：基于关系图卷积网络（RGCN），聚合多关系下的多跳邻居信息： 通过多层堆叠可聚合多跳邻居，并为不同关系维护独立权重矩阵（采用块对角分解防止参数爆炸）。实验证明 RGCN 聚合器性能最优。
4.4 多步推理（Multi-step Inference）
RE-NET 的关键优势之一是能够在不依赖任何 ground truth 的情况下对未来多个时间步进行序列预测。
设当前时间为 t，目标是预测 时刻的事件。多步推理的核心思路是：
即通过在每个中间时间步采样生成图 ，逐步逼近远期条件分布。具体地，每步采样 M=1000 个主体，取 top-k=1000 个三元组构成该步的生成图，再滚动至下一步。由于只需单次采样即可达到很好的估计效果，RE-NET 在效率和精度之间取得了良好平衡。
五、实验设置
数据集
RE-NET 在五个公开 TKG 数据集上进行评测，涵盖两类场景：
事件型 TKG（事件反复发生）：
- ICEWS18：综合危机早期预警系统，2018年1月至10月数据，时间粒度为天（24小时），包含 23,033 个实体和 256 种关系
- ICEWS14：2014年全年数据，12,498 个实体，260 种关系
- GDELT：全球事件数据库，时间粒度为15分钟，7,691 个实体，240 种关系，训练集超过170万条事件
知识图谱型 TKG（事实持续一段时间）：
- WIKI：来自维基百科，时间粒度为年，12,554 个实体，24 种关系
- YAGO：多语言维基百科知识库，时间粒度为年，10,623 个实体，10 种关系
论文 Table 3（附录）：五个数据集的详细统计信息，包括训练/验证/测试集大小、实体数、关系数和时间粒度
除 ICEWS14 外，其余数据集均按照时间戳顺序划分为训练集（80%）、验证集（10%）和测试集（10%），确保测试时间戳严格晚于训练时间戳。
评价指标
采用过滤版（filtered）的 MRR （Mean Reciprocal Rank）和 Hits@3/10，即在计算排名时过滤掉所有在训练/验证/测试集中出现过的正确三元组，避免它们干扰排名。
六、实验结果
6.1 主实验：五数据集全面对比
论文 Table 1：五个 TKG 数据集上的时序链接预测性能对比（5次运行平均，过滤版指标，单位为%）。RE-NET 在所有数据集上均取得最优结果
事件型 TKG 结果分析：
在 ICEWS18 和 GDELT 上，RE-NET 全面超越所有基线：
- 静态方法整体劣于时序方法，因为它们完全忽略时间信息。
- 时序方法中，TA-DistMult 在 ICEWS18 上 MRR 为 28.53%，远低于 RE-NET 的 42.93%；HyTE 仅有 7.31%，表现极差（这两种方法本质上是插值方法，强行用于外推任务）。
- Know-Evolve 的 MRR 仅为 3.27%（标记"*"说明其原始代码存在并发事件的 bug 已被修复），即便修复后（Know-Evolve+MLP）也只有 9.29%，远低于 RE-NET。
- R-GCRN+MLP 与 RE-NET 在架构上最为接近（同样有循环编码器和 RGCN 聚合器），但缺少多步推理和全局信息，MRR 为 35.12%，仍比 RE-NET 低 7.8 个百分点。
- 最重要的是：所有先前的时序方法均不具备多步推理能力，而 RE-NET 可以序列化地预测任意远未来的事件。
知识图谱型 TKG 结果：
在 WIKI 和 YAGO 上，静态基线整体表现优于事件型 TKG（因为这类数据集的事实长期有效，静态建模更合适），但 RE-NET 依然在两个数据集上均超越所有方法。在 YAGO 上，RE-NET 的 MRR 达到 65.16%，Hits@10 达到 68.08%。
6.2 时间维度上的预测性能
论文 Figure 4：在 ICEWS18（以天为单位）和 GDELT（以分钟为单位）数据集上，随预测时间步增加的 Hits@3 变化曲线。RE-NET 在所有时间步上持续优于 ConvE 和 TA-DistMult
从图中可观察到：随着预测时间步的增加，所有方法的性能均有所下降（因为越远的未来越难预测），但 RE-NET 始终保持领先优势。值得注意的是，随着时间步增大，RE-NET 与 ConvE 的差距有所收窄------这是因为 RE-NET 生成中间图的质量会随序列长度增加而下降。
论文 Figure 6（附录）：在 WIKI 和 YAGO 数据集上（以年为单位）随时间步的 Hits@3 变化曲线，RE-NET 同样持续领先
6.3 消融实验
论文 Table 2：在 ICEWS18 和 GDELT 上的消融实验结果，验证各模块的贡献
关键消融结果（ICEWS18，MRR）：
| 模型变体 | MRR | Hits@3 | Hits@10 |
|---|---|---|---|
| RE-NET w/o 聚合器 | 33.46 | 35.98 | 46.62 |
| RE-NET w/o 多步推理 | 40.05 | 42.60 | 52.92 |
| RE-NET（完整） | 42.93 | 45.47 | 55.80 |
| RE-NET w. GT（上界） | 44.33 | 46.83 | 57.27 |
- 去掉聚合器：MRR 从 42.93 骤降至 33.46（下降 9.47 个百分点），说明对并发事件局部图结构的建模至关重要。
- 去掉多步推理（保持历史不更新）：MRR 降至 40.05，说明中间步骤生成的历史对远期预测有实质性帮助。
- 使用 ground truth 历史（RE-NET w. GT）：MRR 提升至 44.33，表明当前仍有提升空间，且验证了多步推理策略的合理性。
6.4 聚合器类型与模型变体分析
论文 Figure 5：(a) 不同聚合器对 RE-NET 性能的影响；(b) 经验概率 p(s)$和 p(s,r) 的研究
不同聚合器的影响（ICEWS18，MRR）：
- 均值聚合：40.70
- 注意力聚合：40.96
- RGCN 聚合（最优）：42.93
RGCN 聚合器凭借多关系和多跳邻居的处理能力，明显优于均值聚合和注意力聚合（提升约 2.2 个百分点）。
经验概率 vs. 学习概率： 若用经验统计 p_e(s)（主体出现频次之比）替代训练得到的 p(s)，MRR 从 42.93 下降至 42.43；同时替换 p(s) 和 p(r) 后进一步降至 42.07。说明通过训练学习的 p(s) 和 p(r) 对多步推理有显著帮助，尽管提升幅度不如聚合器和多步推理模块。
七、超参敏感性分析
论文 Figure 7：RE-NET 在 ICEWS18 上的参数敏感性分析，包括 (a) RNN 历史长度 m，(b) 推理时截断位置 k，(c) RGCN 层数，(d) 全局表示的影响
- 历史长度 m ：当 m 从 2 增加到 5 时 MRR 持续提升，
- 截断位置 k ：k=0 时 RE-NET 退化为单步预测，MRR 最低（约 40）；
- RGCN 层数：2 层（MRR=42.93）显著优于 1 层（36.86），但 3 层（43.34）反而略低于 2 层，推测参数空间过大导致过拟合。
- 全局表示：引入全局表示后 MRR 从 42.53 提升至 42.93，Hits@3 从 45.07 提升至 45.47，提升边际但稳定，说明全局图结构提供了局部邻域之外的补充信息。
八、案例分析
论文 Figure 8：RE-NET 预测的案例研究，展示三种历史模式：(1) 与某客体的持续一致交互，(2) 特定的时序模式，(3) 与答案无关的历史
RE-NET 的预测行为高度依赖历史交互序列，具体可分为三类场景：
场景1（成功）：持续一致的交互。若主体长期在某关系下与同一客体交互（如持续"批评"某国），RE-NET 能稳定预测，而静态方法会受到训练集中其他高频实体的干扰。
场景2（成功）：特定时序模式。若历史存在规律性的关系转化模式（如 "逮捕, 公民" → "使用武力, 公民"），RE-NET 能捕捉并利用这一时序模式做出准确预测，而不了解时间信息的方法可能给出"商人"而非"公民"的错误答案。
场景3（失败）：无关历史。当历史交互与未来答案无关（如过去一直"部署武器"，而下一步是"邀请"某个完全不同的实体），RE-NET 的历史信息起不到帮助作用，预测失败。这也指出了模型的核心局限：对于"突发性"、缺乏历史规律的事件预测仍然困难。
九、总结与启示
RE-NET 是时序知识图谱外推推理领域的一项奠基性工作，其贡献可概括为：
- ✅ 明确定义了外推 TKG 推理问题，区分于插值设定，并建立了严格的多步推理评估协议（推理时不允许使用测试集 ground truth）。
- ✅ 首次以自回归框架建模时序多关系图，将事件联合分布分解为可逐步采样的条件分布链。
- ✅ 循环事件编码器 + 邻域聚合器 的双路设计，分别捕捉时序依赖和并发局部结构，两个模块均经消融验证不可缺少。
- ✅ 五数据集全面 SOTA，尤其在多步推理场景下优势显著，是后续 TKG 外推工作的重要基线。
局限性与未来方向：作者也指出，RE-NET 在远期预测时质量会逐渐下降（中间生成图的误差累积），且对无历史规律的突发事件束手无策。未来工作包括：更高效的 RE-NET 变体、对持续性事件（time-span facts）的推理、以及结合更强的语言模型进一步提升事件表示能力。