Knowledge Graph Prompting for Multi-Document Question Answering

本文是LLM系列文章,针对《Knowledge Graph Prompting for Multi-Document Question Answering》的翻译。

多文档问答中的知识图谱提示

  • 摘要
  • [1 引言](#1 引言)
  • [2 符号](#2 符号)
  • [3 知识图谱构建](#3 知识图谱构建)
  • [4 LM引导的图形遍历器](#4 LM引导的图形遍历器)
  • [5 实验](#5 实验)
  • [6 相关工作](#6 相关工作)
  • [7 结论](#7 结论)

摘要

大型语言模型的"预训练、提示、预测"范式在开放领域问答(OD-QA)中取得了显著的成功。然而,很少有工作在多文档问答(MD-QA)的场景中探索这种范式,这项任务需要彻底理解不同文档的内容和结构之间的逻辑关联。为了填补这一关键空白,我们提出了一种知识图谱提示(KGP)方法,用于在MDQA的LLM提示中制定正确的上下文,该方法由图构建模块和图遍历模块组成。对于图的构建,我们在多个文档上创建一个知识图谱(KG),其中节点象征段落或文档结构(例如,页面/表格),边表示段落或文档内结构关系之间的语义/词汇相似性。对于图遍历,我们设计了一个LM引导的图遍历器,它在节点之间进行导航,并收集辅助MD-QA中LLM的支持段落。构建的图作为全局标尺,调节段落之间的过渡空间,减少检索延迟。同时,LMguided遍历器充当本地导航器,收集相关上下文以逐步处理问题并保证检索质量。大量实验强调了KGP对MD-QA的有效性,表明了利用图增强LLM提示设计的潜力。我们的代码位于https://github.com/YuWVandy/KG-LLM-MDQA.

1 引言

2 符号

3 知识图谱构建

4 LM引导的图形遍历器

5 实验

6 相关工作

7 结论

回答多文档问题需要跨各种模式从不同文档中进行知识推理和检索,这给LLM应用"预训练、提示和预测"范式带来了挑战。认识到段落之间的逻辑关联和文档中的结构关系可以统一为图形表示,我们提出了一种知识图谱提示方法(KGP)来帮助MDQA中的LLM。KGP从具有描述句子或文档结构的节点和表示其词汇/语义相似性或结构关系的边的文档中构建KGs。由于构建的KGs可能包含不相关的邻居信息,我们进一步设计了一个LM引导的图遍历器,该遍历器在处理该问题时选择性地访问最有希望的节点。未来,我们计划研究LLM理解图拓扑的能力,并探索微调/提示LLM编码隐藏在图中的复杂拓扑信号的潜力。

相关推荐
SHIPKING3931 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水5 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室6 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿6 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫6 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手6 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配
AI生存日记7 小时前
百度文心大模型 4.5 系列全面开源 英特尔同步支持端侧部署
人工智能·百度·开源·open ai大模型
LCG元7 小时前
自动驾驶感知模块的多模态数据融合:时序同步与空间对齐的框架解析
人工智能·机器学习·自动驾驶
why技术7 小时前
Stack Overflow,轰然倒下!
前端·人工智能·后端