论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理

shizidushu2024-09-13 22:36

论文阅读笔记 --- 图模互补：知识图谱与大模型融合综述 --- 按参考文献整理

关于

引言、相关介绍

大模型增强知识图谱

增强知识图谱构建

  • ChatIE: Zero-Shot Information Extraction via Chatting with ChatGPT
    • Submitted on 20 Feb 2023 (v1), last revised 27 May 2024 (this version, v2)
    • https://github.com/cocacola-lab/chatie
    • ChatIE将实体抽取、命令实体识别和事件抽取任务转化为多回合问答问题，旨在将复杂的信息抽取任务分解为多个简单的子任务，并设计提示词输入ChatGPT，在多个信息提取数据集上取得良好效果。
    • 不涉及大模型微调任务
    • 通过提示工程抽取信息
  • ChatExtract: Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering
    • Submitted on 7 Mar 2023 (v1), last revised 21 Feb 2024 (this version, v3)
    • ChatExtrac设计了一种强迁移性的数据提取方法，其核心通过构建一系列用于提取结构化数据的工程提示词，实现大模型在零样本学习的自动识别和提取数据功能，并且ChatExtract可以应用于各种对话式大模型，产生高质量的数据提取结果。
    • 不涉及大模型微调任务
    • 通过提示工程提取提示问题集
  • AutoKG: LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities
    • Submitted on 22 May 2023 (v1), last revised 18 Aug 2024 (this version, v3)
    • 在处理知识密集型任务时，为了解决大模型无法捕捉到复杂的关系动态，AutoKG提出一种轻量级和高效的自动化知识图构建方法。与传统的通过语义相似性搜索方式不同，AutoKG使用预训练大模型构建简化的知识图谱。AutoKG构建的知识图与传统的知识图结构不同，它以关键字作为节点，记录各个节点间的相关性权重，AutoKG会根据关键词之间的关联程度建立知识图中的边。但AutoKG仅仅在外部知识库的提取关键词阶段，利用大模型的信息抽取能力，没有在后续丰富知识图阶段结合大模型。
    • 通过预训练大模型提取关键词
  • Does Synthetic Data Generation of LLMs Help Clinical Text Mining?
    • Submitted on 8 Mar 2023 (v1), last revised 10 Apr 2023 (this version, v2)
    • 探索大模型在医疗保健领域实体抽取的效果，通过大模型生成大量高质量带标签的训练数据，并将其作为提示信息局部微调大模型。实验结果表明，微调大模型相较于通用大模型，性能有较好的提升。
    • 利用ChatGPT生成标注样本
  • Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction
    • Submitted on 5 Apr 2024

增强知识图谱补全

知识图谱的构建往往是不完备的，传统的知识图补全任务利用知识图谱的结构信息预测三元组中缺失的实体，但是在解决长尾实体时需要付出很高的代价。大模型可作为额外知识库提取可信知识，完成知识图谱的补全。

  • Exploring Large Language Models for Knowledge Graph Completion
    • Submitted on 26 Aug 2023 (v1), last revised 18 Feb 2024 (this version, v4)
    • https://github.com/yao8839836/kg-llm
    • 一种做法是直接将大模型应用在知识图谱补全任务中，将三元组分类、关系预测和实体（链接）预测转化为提示文本，通过提示大模型生成预测结果。例如文献[67]构建了以三元组的实体和关系描述作为提示，在微调大模型KG-ChatGLM-6B和KG-LLaMA（7B和13B）上进行实验，在补全任务中取得了较好的性能。
    • 知识图谱内嵌大模型
  • KICGPT: Large Language Model with Knowledge in Context for Knowledge Graph Completion
    • Submitted on 4 Feb 2024 (v1), last revised 23 Feb 2024 (this version, v2)
    • https://github.com/weiyanbin1999/kicgpt
    • 而另一种补全方法则是间接利用提示大模型。例如KICGPT集成大模型与传统的结构感知模型（知识补全检索器），检索器对链接预测任务中缺失三元组进行查询，根据分数排序生成候选实体列表，然后以结构知识编码作为大模型情景学习示例，重新对候选实体列表进行排序。
    • 大模型作为额外知识库
  • Contextualization Distillation from Large Language Model for Knowledge Graph Completion
    • Submitted on 28 Jan 2024 (v1), last revised 24 Feb 2024 (this version, v3)
    • https://github.com/david-li0406/contextulization-distillation
    • 与之相似，文献[69]通过提示大模型，为三元组生成出高质量的上下文描述，之后借助传统的补全方案训练模型，间接通过大模型补全知识图谱。
    • 大模型作为训练数据生成器
  • Making Large Language Models Perform Better in Knowledge Graph Completion
    • Submitted on 10 Oct 2023 (v1), last revised 14 Apr 2024 (this version, v2)
    • https://github.com/zjukg/kopa
    • 然而简单的问答方式无法利用大模型的推理能力，缺乏对知识图谱结构中实体和关系的描述，大模型可能无法理解知识图谱的结构信息。为实现更有效和准确的图谱补全，学者们将知识图谱中的实体、关系等结构信息融入大模型，使大模型具有结构感知推理能力。文献[70]提出了一种名为KoPA的知识前缀适配器，将知识图谱结构信息整合到大模型中。KoPA模型将知识图谱结构信息进行知识嵌入，并投射到文本空间。借助KoPA生成的虚拟知识令牌（Token）增强输入提示序列微调大模型，使得大模型能够在结构感知状态下解码指令的答案，提高了大模型在知识图谱补全任务中的性能。
    • 知识图谱内嵌大模型

增强知识图谱推理

  • 知识图谱与大模型融合
    • 2022年5月
    • 以往的知识图谱推理任务中，研究人员利用知识计算进行显式的推理，借助深度学习模型将实体和关系嵌入到高维向量空间实现推理[71]。不过该方法依赖于知识图谱自身的知识，缺乏"世界知识"支撑，大模型的到来使得通识知识和知识图谱联合推理成为了可能。
  • Evaluating and Enhancing Large Language Models for Conversational Reasoning on Knowledge Graphs
    • Submitted on 18 Dec 2023 (v1), last revised 4 Feb 2024 (this version, v2)
    • LLM-ARK [72] 不访问模型参数直接利用大模型作为代理，将多跳推理任务表示为强化学习序列决策问题，通过全文本环境提示聚合多尺度输入，使大模型获得丰富信息状态的嵌入表示。具体步骤为：LLM-ARK将知识图谱推理表述为一个由六元组 \((S, O, A, T, R, \gamma)\) 描述的马尔可夫决策过程 （MDP）。其中， \(S\) 描述环境的状态集合； \(O\) 用于观察环境的完整状态； \(A\) 表示下---步可能发生的行动； \(T\) 记录状态的更新； \(R\) 表示奖励信号； \(\gamma\)表示奖励折扣因子，并且引入近端策略优化（PPO）强化学习算法，使模型在推理任务中不断学习。实验表明，模型LLaMA-2-7B-ARK在二跳推理任务中表现出优越的性能。
    • 大模型引导知识图谱推理
  • Complex Logical Reasoning over Knowledge Graphs using Large Language Models
    • Submitted on 2 May 2023 (v1), last revised 31 Mar 2024 (this version, v3)
    • https://github.com/akirato/llm-kg-reasoning
    • LARK [73] 也利用大模型引导知识图谱的复杂推理，不同的是它将复杂的知识图谱推理转化为上下文知识图谱搜索和逻辑查询推理的两个步骤组合，将多操作复杂逻辑查询分解为大模型更擅长的单操作基本查询，最后将检索到的邻域和分解的查询转换为大模型提示，获取输出结果；同时利用大模型评估最终答案集，LARK利用图提取算法和大模型双方的优势实现高性能的复杂推理。
    • 大模型引导知识图谱推理
  • ChatRule: Mining Logical Rules with Large Language Models for Knowledge Graph Reasoning
    • Submitted on 4 Sep 2023 (v1), last revised 22 Jan 2024 (this version, v3)
    • https://github.com/RManLuo/ChatRule
    • 在传统演绎推理方向，推理规则挖掘存在资源成本较大、逻辑规则缺乏可扩展性、密集型规则搜索效果不佳等问题，很难扩展到大规模的知识图谱。而大模型能够理解自然语言文本，利用内化到深度学习模型中的语义知识和结构信息生成有意义的规则，结合知识图谱的知识，实现辅助挖掘知识图谱推理的规则及评估方案。例如规则生成器ChatRule[74]，框架如图3所示。ChatRule以知识图中的规则实例作为大模型提示，生成一组粗糙的候选规则，设计逻辑规则评分器过滤不合要求的规则，最后采用思维链（CoT）[75]强化推理能力的大模型验证规则的正确性，消除大模型潜在的虚假规则。
    • 大模型作为规则生成器

增强知识图谱问答

知识图谱增强大模型

增强大模型自身性能

知识图谱构建预训练语料库

知识图谱内嵌大模型

增强大模型推理

增强大模型检索

  • Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
    • Submitted on 22 May 2020 (v1), last revised 12 Apr 2021 (this version, v4)
    • 知识图谱通过检索增强大模型是自然语言处理领域备受关注的研究方向之一。一种代表性的方法是检索增强生成（Retrieval-Augmented Generation，RAG）[108]。大模型自身无法精确处理知识密集型任务，也无法探究信息的来源和知识的更新，RAG旨在通过外部真实知识向量索引来解决大模型无法自我更新知识的问题。RAG是一种包含查询编码器（Query Encoder）、预训练检索器（Retriever）和预训练的生成式模型相结合的端到端训练方法。具体步骤为通过文档检索器检索潜在信息，将潜在文本作为输入信息的附加上下文执行大模型，最终获得文本目标序列。
  • LaMDA: Language Models for Dialog Applications
    • Submitted on 20 Jan 2022 (v1), last revised 10 Feb 2022 (this version, v3)
    • 与之类似，LaMDA[39]模型包括LaMDA-Base和LaMDA-Research模型，在执行过程中，首先调用LaMDA-Base模型生成输出，但是输出结果可能存在不真实信息，模型会继续调用LaMDA-Research与信息检索系统进行多次交互，直到LaMDA-Research响应用户输出，将无法验证的结果进行替换。相较于RAG，LaMDA的检索范围较小，但检索结果的精确度相对较高。
  • Improving language models by retrieving from trillions of tokens
    • Submitted on 8 Dec 2021 (v1), last revised 7 Feb 2022 (this version, v3)
    • 为了解决大模型内存开销过大的问题，RETRO[109]通过从大型语料库中检索相似文档块来增强语言模型，在处理下游知识密集任务时，小参数模型性能达到了GPT-3的表现效果。RAG[108]和RETRO[109]二者都需单独训练检索模型，并且在面对超大规模和更新性强的外部文档时，可能会导致计算成本的增加。
  • Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution
    • Submitted on 9 Oct 2023 (v1), last revised 23 May 2024 (this version, v2)
    • 在检索的基础上，KaLMA[110]构建了一个基于检索、重新排序和生成的管道，检索增强大模型的知识感知属性，同时提出"Conscious Incompetence"的设置，即当语言模型意识到自己无法提供某些知识，会在文本中插入"[NA]"标记，表示该部分知识无法被验证。实验结果表明，KaLMA[110]在提高大模型的引用生成能力和检索准确性方面具有一定的潜力。
  • Enhancing Multilingual Language Model with Massive Multilingual Knowledge Triples
    • Submitted on 22 Nov 2021 (v1), last revised 19 Oct 2022 (this version, v4)
    • https://github.com/ntunlp/kmlm
    • 与上述不同，KMLM[111]是一种直接基于多语言三元组的知识增强型预训练方法，将三元组信息以代码形式转化为多语言文本，同时在预训练过程中附加文本的结构信息，实验结果表明，KMLM提高了隐性知识的推理能力，在跨语言知识密集型任务（事实知识检索）中表现出显著的性能改进。

增强大模型可解释性

  • LMExplainer: Grounding Knowledge and Explaining Language Models
    • Submitted on 29 Mar 2023 (v1), last revised 16 Jul 2024 (this version, v3)
    • 传统解决模型可解释性问题的方法集中于模型内在和事后的解释，如可解释模型结构和事后特征选择。然而，这些方法在解释模型决策过程方面存在不足。近期研究通过多实例学习、注意矩阵和外部知识结构等手段提供了文本解释，但仍未完全理解模型的推理过程。LMExplainer[112]设计了一个知识增强的解释模块，将知识图谱与大模型相结合，采用知识图谱和图注意力网络（GAT）[113]提取大模型的关键决策信号，提供了全面、清晰、可理解的文本解释。其过程如图4所示，通过大模型生成输入语言的嵌入，同时从知识图谱中检索到相关知识以构建子图，以语言嵌入和子图作为图神经网络的输入，通过图注意力网络来获取注意力分数，生成最终的预测结果和决策的解释过程。实验结果显示，LMExplainer不仅提高了模型性能，并且可以更准确地解释模型推理过程。
  • Graph Attention Networks
    • Submitted on 30 Oct 2017 (v1), last revised 4 Feb 2018 (this version, v3)
    • LMExplainer[112]设计了一个知识增强的解释模块，将知识图谱与大模型相结合，采用知识图谱和图注意力网络（GAT）[113]提取大模型的关键决策信号，提供了全面、清晰、可理解的文本解释。
  • XplainLLM: A QA Explanation Dataset for Understanding LLM Decision-Making
    • Submitted on 15 Nov 2023
    • 同样的，XplainLLM[114]是首个捕捉大模型推理元素并通过人类可理解的解释呈现决策过程的数据集，满足大模型在决策过程中透明度、可解释性和可理解性的需求。通过结合知识图和图注意力网络，构建一个问题-答案-解释（QAE）三元组，将大模型推理过程与知识图谱中实体和关系相连接的。评估结果显示，使用解释后的大模型性能提高2.4%，并且在问答任务中具有更出色的可解释性和理解效果。

图模互补应用与展望

图模互补应用

其他

大型开放知识库：

开源仓库：

热门推荐
01如何才能让手机厂商主动拥抱华为，接入鸿蒙系统？02【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【TC3xx芯片】TC3xx芯片电源管理系统PMS详解05基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测06【经验分享】Ubuntu22.04安装微信(linux官方版)07Macbook pro M1 安装Ubuntu教程08RAG 实践- Ollama+RagFlow 部署本地知识库09Windows10安装PCL1.14.0及点云配准10文件或文件夹名称中有空格如何批量去除