摘要
时序知识图谱（Temporal Knowledge Graph，TKG）推理旨在利用沿时间轴分布的历史快照信息预测未来事件。现有研究主要从两个方面利用时序知识图谱的历史信息，即捕获近期各个快照的演化规律，以及建模全局历史事实之间的相关性。尽管这些研究取得了显著进展，但仍存在两方面不足：I）未能充分挖掘近期快照之间多粒度交互的影响；II）未能有效利用整个历史过程中与查询相关的重要关联所蕴含的丰富语义，尤其是那些对未来事件具有深远影响的历史事实。这些不足限制了模型对历史依赖关系及未来演化趋势的全面表征能力。为克服上述局限，本文提出一种基于历史相关事件结构化（Historically Relevant Events Structuring，HisRES）的新型时序知识图谱推理方法。具体而言，HisRES 包含两个用于建模历史相关事件的核心模块：多粒度演化编码器，用于捕获近期快照中的结构依赖与时序依赖；全局相关性编码器，重点建模整个历史过程中与查询相关的事件之间的重要关联。此外，HisRES 引入自门控机制，自适应融合近期多粒度演化表示与全局历史相关性结构化表示。在四个基于事件的基准数据集上的大量实验表明，HisRES 达到了当前最先进的性能水平，验证了历史相关性结构化建模在时序知识图谱推理中的优越性与有效性。
关键词： 时序知识图谱、图神经网络、外推推理、链接预测。
I. 引言（Introduction）
时序知识图谱（Temporal Knowledge Graphs，TKGs）1 通过引入时间信息，突破了静态知识图谱的局限。具体而言，时序知识图谱将传统的三元组事实扩展为（主体、关系、客体、时间戳）四元组，从而建立静态知识表示与动态知识表示之间的联系。这种扩展有助于捕获现实世界事件的动态演化规律，具有重要的实际应用价值，并将下游应用拓展至事件预测 2、时序问答 3、社交网络分析 4 和异常检测 5 等任务。
已有研究 6、7 表明，时序知识图谱通常表现为沿时间轴划分的一系列连续快照或子图，其中每个快照包含特定时间戳下同时发生的事件，从而为事件演化模式提供直观的表示形式。然而，时序知识图谱仍普遍存在知识不完整的问题，并因其时间特性而面临独特挑战。针对这些局限，时序知识图谱推理主要分为插值推理（Interpolation）和外推推理（Extrapolation）两类，分别旨在利用历史知识推断过去时间戳和未来时间戳下缺失的事实（事件）。
从历史信息利用的角度来看，外推推理方法主要可以分为两类：a）统计历史事件并利用重复模式进行推理 8、9；b）捕获近期快照中的并发关联与演化关联 6、10--14。具体而言，第一类方法根据历史事件的重复统计信息构建稀疏矩阵，以对预测结果施加掩码约束。第二类方法采用图神经网络（Graph Neural Networks，GNNs）建模并发事实之间的结构依赖，并利用循环神经网络（Recurrent Neural Networks，RNNs）捕获快照序列的演化规律。在第二类方法的基础上，一些研究 7、15、16 进一步引入全局历史信息。其中，TiRGN 7 采用全局历史编码器约束预测范围；HGLS 15 通过连接不同时间戳下的相同实体，捕获全局历史事件之间的多跳关联；LogCL 16 则构建由查询相关历史事实组成的图结构，以获取更加丰富的语义信息。
尽管取得了上述进展，现有研究仍未能充分挖掘时序知识图谱中的历史相关事件。这一局限主要源于两个关键挑战：I）近期事件影响（Recent Event Impact），即如何挖掘近期快照之间多粒度交互的影响；II）远期历史影响（Distant Historical Influence），即如何利用整个历史过程中与查询相关的重要关联所蕴含的丰富语义，尤其是那些对未来事件具有深远影响的历史事实。
I）近期事件影响（Recent Event Impact）： 第一个重要挑战在于，现有方法缺乏对近期相邻快照中事实之间多粒度相关性的显式且灵活的评估。近期事实通常对未来事件具有更强的影响，并可能引发跨越多个时间间隔的事件链。由于相邻时间戳下连续发生的事件往往存在因果关联，上述不足可能导致关键事件间依赖关系的丢失。尽管 RPC 13 和 LogCL 16 引入了跨快照信息，并通过可变权重区分不同近期快照的贡献，但其建模仍主要局限于单个快照层面，可能忽略事实级别的传播模式，而这些模式能够为有效的时序知识图谱推理提供关键信息。
II）远期历史影响（Distant Historical Influence）： 第二个重要挑战在于，时间跨度较大的历史事实即使距离当前时刻较远，仍可能对未来事件产生显著影响。现有方法往往忽略全局相关事件结构中蕴含的重要信息，尤其是长期语义模式与周期性交互关系，从而导致历史信息表征不充分。尽管 HGLS 15 尝试通过额外边连接不同快照中的相同实体来解决这一问题，但这种方式会引入来自远期时间戳的冗余信息，并产生较高的计算复杂度。LogCL 16 虽然整合了与查询相关的历史事实，但在信息聚合过程中未能显式突出关键历史关联，从而限制了模型区分不同时间戳下历史事实相对重要性的能力。
图 1： 时序知识图谱外推推理示例。左侧为包含时间戳事实的原始历史快照；右侧为分别从多粒度相关性（红色元素）和全局相关性（蓝色元素）角度构建的派生图结构。
为应对上述挑战，本文将时序知识图谱中的历史交互划分为两个方面，即多粒度相关性（Multi-granularity Correlation）和全局相关性（Global Relevance）。图 1 以 ICEWS 17 中的实例对这两个概念进行说明。每个实体均被赋予唯一的数字标识符，例如，\(e_1\) 表示 North America。为便于理解，图 1 右侧的实体均以简化节点的形式表示。
围绕上述两类交互关系，本文提出一种基于历史相关事件结构化的时序知识图谱推理方法 HisRES。具体而言，HisRES 采用编码器---解码器架构，重点关注时序知识图谱推理中的两个关键方面：捕获近期快照中的结构模式与时序模式，以及理解整个历史过程中相关事件所产生的影响。对于近期历史信息，HisRES 采用多粒度演化编码器（第 III-B 节），建模各快照内部的并发交互与演化规律，并进一步融合相邻快照，利用多跳关联学习时序依赖，从而应对第一个挑战。为显式捕获整个历史过程中的结构相关性，HisRES 引入全局相关性编码器，对与查询集合直接相关的历史事实进行结构化建模，以应对第二个挑战。此外，本文提出一种新型的基于卷积的图注意力网络（Convolution-based Graph Attention Network，ConvGAT），以高效突出历史相关性结构中对未来预测具有重要作用的关联。同时，HisRES 引入自门控机制（第 III-C 节），自适应融合不同粒度或不同编码器生成的实体表示。通过综合考虑时序知识图谱中的多种历史信息，包括全局与局部信息、快照内部与快照之间的信息，实现对历史依赖关系的全面建模，从而提高预测准确性。在四个基准数据集上的大量实验验证了 HisRES 在时序知识图谱推理中的优越性与有效性，尤其体现了历史相关性结构化建模的重要作用。
总体而言，本文的主要贡献总结如下：
-
提出一种新型时序知识图谱推理方法 HisRES，通过历史相关事件结构化建模，充分挖掘结构依赖与时序依赖关系。
-
通过自适应融合多粒度演化编码与全局相关性编码，HisRES 能够有效整合不同历史交互过程中获得的实体表示。
-
在四个基于事件的数据集上开展大量实验，结果表明 HisRES 优于现有最先进的时序知识图谱推理基线模型，验证了所提方法的有效性与优越性。
II. 相关工作（Related Work）
近年来，知识图谱推理 18 得到了广泛研究，并为下游应用的发展作出了重要贡献。传统知识图谱推理主要面向静态知识图谱，常用数据集包括 FB15k-237 19 和 WN18RR 20。相比之下，时序知识图谱推理主要面向 ICEWS 17 等具有时间敏感性的数据集，旨在捕获知识演化模式，并从具有时间特征的事件数据中预测未来事实。本文从静态知识图谱推理和时序知识图谱推理两个方面介绍相关研究。
A. 静态知识图谱推理（Static Knowledge Graph Reasoning）
早期静态知识图谱研究主要关注在不同表示空间中建模实体与关系。TransE 21 提出了简单的平移假设 \(s+r\approx o\)，而 DistMult 22 通过双线性目标函数学习关系的嵌入语义。在复数向量空间中，ComplEx 23 和 RotatE 24 分别采用厄米内积和关系旋转进行知识表示。随着卷积神经网络的发展，ConvE 20 和 ConvTransE 25 等方法利用卷积操作融合实体与关系嵌入。近年来，研究者进一步尝试利用图卷积网络（Graph Convolutional Networks，GCNs）26 学习更具表达能力的图结构表示。R-GCN 27 通过关系特定的块对角矩阵扩展传统 GCN，CompGCN 28 则将多关系图卷积与不同的组合操作相结合。为区分不同节点的贡献，GAT 29 引入注意力机制，而 KBGAT 30 利用关系特定的注意力机制捕获邻域语义信息。然而，这些静态方法仍存在明显局限：一方面，未能有效引入显式时间信息；另一方面，难以充分挖掘复杂的周期性规律与历史影响。这些不足显著限制了其处理动态事实及学习知识演化模式的能力。
B. 时序知识图谱推理（Temporal Knowledge Graph Reasoning）
根据待预测事件发生的时间，时序知识图谱推理大致可以分为插值推理和外推推理两类。前者主要处理已知时间戳下的事实预测，后者则关注未来时间戳下的事实预测。此外，部分研究 31--33 尝试通过基于逻辑规则的归纳推理预测事件发生时间。需要说明的是，本文主要关注外推推理任务。
假设已知时间 \(t_T\) 及其之前的所有事实，外推推理旨在利用历史时序知识图谱序列，预测未来时间戳 \(t>t_T\) 下的未知事实。近年来，研究者提出了多种方法解决这一任务。xERTE 34 设计了基于时间信息的子图采样模块，并将时间信息融入关系嵌入。GHNN 35 提出图霍克斯神经网络，以捕获图序列的演化规律。TANGO 36 将神经常微分方程扩展至动态知识建模，实现连续时间表示。TITer 37 和 CluSTER 38 利用强化学习生成由历史实体构成的查询特定路径。TLogic 39 则引入符号表示并学习时序逻辑规则，以增强模型的推理能力。
此外，现有研究还可以划分为两类：一类侧重于统计历史事实的重复模式，另一类关注历史事件之间的交互关系。在第一类方法中，CyGNet 8 利用多热向量构建历史词表以记录过去发生的事实，并基于这些信息对预测结果施加掩码约束。在此基础上，CENET 9 和 PLEASING 40 引入对比学习与可学习分类器，以区分历史事件与潜在事件。在第二类方法中，RE-NET 10 和 RE-GCN 6 利用图卷积网络建模并发事件的结构关系，并通过循环单元学习实体或关系的演化模式。在此基础上，CEN 11 考虑历史序列长度的多样性与时间变化特征。TiRGN 7 采用类似 CyGNet 的全局历史编码器，识别与历史事实或未见事实相关的实体，并结合时间引导解码器进行预测。RETIA 12 和 RPC 13 引入线图的概念，以学习关系之间的交互。LMS 41 从多图视角分别建模实体与时间之间的交互。L²TKG 14 针对缺失的关联关系，在原本不相连的实体之间建立连接，以获得更加全面的表示。此外，一些研究尝试通过引入额外图结构捕获全局结构相关性。HGLS 15 通过连接不同时间戳下的相同实体，显式建模长期依赖关系；LogCL 16 则提出实体感知注意力机制，灵活利用与查询相关的历史事实，并通过对比学习增强模型的鲁棒性。
然而，现有方法在捕获两类关键历史交互关系方面仍存在不足，即 I）远期历史影响和 II）远期历史影响。对于前者，尽管 RPC 和 LogCL 分别提出机制计算近期不同时间戳之间的关联，并区分不同近期快照的重要性，但它们未能显式建模近期快照中单个事实的影响传播过程，而这一能力对于预测未来重复事件或未见事实至关重要。对于后者，TiRGN 利用固定的历史掩码矩阵关注历史重复事实，但由于未能有效学习远期历史信息，其预测能力受到限制。HGLS 虽然通过连接不同时间戳下的相同实体，利用多跳关系捕获历史关联，但这种方式显著增加了图中的节点数量，并需要通过多层网络捕获多跳信息，从而产生较大的计算开销。此外，LogCL 在聚合全局信息时存在编码效率不足的问题，难以有效区分不同时间阶段历史事实的贡献。
III. 方法（Method）
HisRES 的整体框架如图 2 所示。该框架采用编码器---解码器架构，主要包含三个核心模块：i）多粒度演化编码器（Multi-granularity Evolutionary Encoder，第 III-B 节），重点捕获近期快照中并发事实之间的相关性，并建模这些快照的时序演化规律；ii）自门控机制（Self-gating Mechanism，第 III-C 节），为每个实体学习可训练权重，并自适应融合不同编码器生成的实体表示；iii）全局相关性编码器（Global Relevance Encoder，第 III-D 节），整合整个历史过程中与查询相关的事实，并利用一种新型图注意力网络聚合其关键邻域语义信息。在解码阶段（第 III-E 节），本文采用广泛使用的 ConvTransE 解码器。
