笔记整理：沈小力，东南大学硕士生，研究方向为多模态信息抽取
论文链接：https://arxiv.org/abs/2402.15048
发表会议：ACL 2024
1. 动机
实体对齐（Entity Alignment, EA）旨在将来自不同知识图谱（Knowledge Graphs, KGs）的实体进行匹配，这是整合异构数据源的关键步骤，并在数据驱动的人工智能应用中扮演至关重要的角色。当前实体对齐方法主要依赖知识表示学习（Knowledge Representation Learning, KRL）所获得的实体嵌入（Embeddings）的相似性计算，这些技术通过学习图谱的拓扑结构和语义信息获得实体嵌入。然而，这类方法未能有效融入实体的外部知识，而外部知识对于实体对齐至关重要。此外，基于KRL的方法通常以黑盒方式仅简单计算实体嵌入间的相似性，缺乏清晰明确的推理过程。这些限制显著影响了实体对齐方法的性能，尤其在高度异构的知识图谱对齐任务中尤为突出。
近年来，大语言模型（Large Language Models, LLMs）在各类自然语言处理任务中表现突出，而在实体对齐任务中的潜力尚未被充分挖掘。这些LLMs经过大规模语料库训练，掌握丰富的外部知识，能够为知识图谱中的实体提供丰富的上下文信息。此外，近期研究表明，LLMs在知识抽取和推理方面也具有强大的推理能力。因此，利用LLMs的这些优势有望克服现有实体对齐方法的不足。
基于此，本文提出了名为ChatEA 的创新框架，旨在通过LLMs的丰富背景知识和强大推理能力来增强基于KRL的实体对齐方法。具体而言，ChatEA 包括一个知识图谱代码转换模块（KG-Code Translation），能够将图谱结构转换为LLMs容易理解的代码格式，从而使LLMs能够利用其内在知识更好地提升实体对齐的准确性。同时，为了避免对实体嵌入相似性计算的过度依赖，ChatEA 提出了一种两阶段的实体对齐策略，利用LLMs对实体候选进行对话式的多步推理，进一步提高实体对齐的精度并保持高效性。
- 贡献
本文的主要贡献如下：
（1）为了解决现有基于 KRL 的 EA 方法的局限性，探索了采用 LLMs 获得更好 EA 性能的潜力。
（2）本文设计了 ChatEA，这是一个将 LLM 与基于 KRL 的 EA 方法集成在一起的新型框架，以增强 EA 性能。
（3）最后，还进行了广泛的实验来评估 ChatEA 的有效性，并讨论了 LLM 在 EA 任务中的价值和局限性。
3. 方法
下面介绍本文的核心想法，如下图所示：
本文提出的方法主要包含三个模块，实体特征预处理模块，知识图谱-代码转换模块，以及两阶段实体对齐策略。下面分别简单介绍这三个模块的核心功能：
（1）实体特征预处理：利用知识表示学习（KRL）方法，将实体的名称、结构和时间特征编码为统一的嵌入表示，为后续候选实体的筛选提供高效基础；
（2）知识图谱-代码转换模块：以Python类和函数的形式显式地表示知识图谱的实体信息，使大语言模型（LLM）能够有效理解知识图谱结构，同时激活其内在的背景知识，丰富实体描述；
（3）两阶段实体对齐策略**（包含以下两个阶段）**：
- 候选实体筛选阶段：基于预处理的实体嵌入，通过相似性度量初步筛选潜在候选实体；
- 推理与再评估阶段：利用LLM以对话形式进行多轮推理，综合考虑实体的名称相似性、结构相似性、实体描述及时间信息，动态调整搜索范围，逐步迭代优化实体对齐的准确性与效率。
上述方法有效结合了传统KRL方法和LLM的优势，实现了实体对齐精度和透明度的显著提升。
4. 实验
本文的实验结果如下：
（1）整体性能
在DBP15K(EN-FR)、DBP-WIKI两个较简单数据集上，ChatEA在Hits@1指标分别达到99.0%、99.5%，性能与现有最佳方法持平或非常接近；
在更复杂且异构程度高的ICEWS-WIKI和ICEWS-YAGO数据集上，ChatEA显著超过所有基线方法，Hits@1指标分别达到88.0%、93.5%，相比次佳方法分别提升了16%、8.8%。
（2）各模块有效性分析
-
去除LLM推理模块（w/o llm）后，Hits@1指标在ICEWS-WIKI和ICEWS-YAGO上分别下降18.5%和12.5%，表明LLM的推理能力对于性能提升至关重要；
-
去除实体名称信息（w/o name）影响最大，性能分别下降24%和25%，说明名称信息在实体对齐任务中发挥关键作用；
-
去除代码表示模块（w/o code）也会明显降低性能，表明图谱的代码化表示有助于LLM更好地理解图谱结构；
-
去除实体描述信息（w/o description）则导致性能适度下降，表明LLM生成的描述信息能够有效增强对齐性能。
5. 总结
本文专注于利用 LLM 的 EA 功能，从而开发 ChatEA。这一创新框架旨在解决三个关键挑战：（1） 增强法学硕士解释和理解 KG 的能力，（2） 利用法学硕士中的固有知识实现更有效的 EA，以及 （3） 提高法学硕士在 EA 环境中的效率。我们在四个代表性数据集中进行的综合实验强调了 ChatEA 的优越性，特别是在需要高精度 EA 的应用中。这些发现进一步阐明了法学硕士在 EA 任务中探索的巨大潜力。
OpenKG
OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。
点击阅读原文 ，进入 OpenKG 网站。