Knowledge Graph Prompting for Multi-Document Question Answering

本文是LLM系列文章,针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。

多文档问答中的知识图谱提示

  • 摘要
  • [1 引言](#1 引言)
  • [2 符号](#2 符号)
  • [3 知识图谱构建](#3 知识图谱构建)
  • [4 LM引导的图形遍历器](#4 LM引导的图形遍历器)
  • [5 实验](#5 实验)
  • [6 相关工作](#6 相关工作)
  • [7 结论](#7 结论)

摘要

大型语言模型的"预训练、提示、预测"范式在开放领域问答(OD-QA)中取得了显著的成功。然而,很少有工作在多文档问答(MD-QA)的场景中探索这种范式,这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白,我们提出了一种知识图谱提示(KGP)方法,用于在MDQA的LLM提示中制定正确的上下文,该方法由图构建模块和图遍历模块组成。对于图的构建,我们在多个文档上创建一个知识图谱(KG),其中节点象征段落或文档结构(例如,页面/表格),边表示段落或文档内结构关系之间的语义/词汇相似性。对于图遍历,我们设计了一个LM引导的图遍历器,它在节点之间进行导航,并收集辅助MD-QA中LLM的支持段落。构建的图作为全局标尺,调节段落之间的过渡空间,减少检索延迟。同时,LMguided遍历器充当本地导航器,收集相关上下文以逐步处理问题并保证检索质量。大量实验强调了KGP对MD-QA的有效性,表明了利用图增强LLM提示设计的潜力。我们的代码位于https://github.com/YuWVandy/KG-LLM-MDQA.

1 引言

2 符号

3 知识图谱构建

4 LM引导的图形遍历器

5 实验

6 相关工作

7 结论

回答多文档问题需要跨各种模式从不同文档中进行知识推理和检索,这给LLM应用"预训练、提示和预测"范式带来了挑战。认识到段落之间的逻辑关联和文档中的结构关系可以统一为图形表示,我们提出了一种知识图谱提示方法(KGP)来帮助MDQA中的LLM。KGP从具有描述句子或文档结构的节点和表示其词汇/语义相似性或结构关系的边的文档中构建KGs。由于构建的KGs可能包含不相关的邻居信息,我们进一步设计了一个LM引导的图遍历器,该遍历器在处理该问题时选择性地访问最有希望的节点。未来,我们计划研究LLM理解图拓扑的能力,并探索微调/提示LLM编码隐藏在图中的复杂拓扑信号的潜力。

相关推荐
东坡肘子8 分钟前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
KaneLogger25 分钟前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼28 分钟前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339862 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室3 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI3 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20063 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3934 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水8 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室9 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能