GREASELM: GRAPH REASONING ENHANCED LANGUAGE MODELS FOR QUESTION ANSWERING

本文是LLM系列文章,针对《GREASELM: GRAPH REASONING ENHANCED

LANGUAGE MODELS FOR QUESTION ANSWERING》的翻译。

GREASELM:图推理增强的问答语言模型

  • 摘要
  • [1 引言](#1 引言)
  • [2 相关工作](#2 相关工作)
  • [3 提出的方法:GREASELM](#3 提出的方法:GREASELM)
  • [4 实验设置](#4 实验设置)
  • [5 实验结果](#5 实验结果)
  • [6 结论](#6 结论)

摘要

回答关于文本叙事的复杂问题需要对所陈述的上下文和作为其基础的世界知识进行推理。然而,作为大多数现代QA系统的基础的预训练语言模型(LM)并不能有力地表示概念之间的潜在关系,而这是推理所必需的。虽然知识图谱(KG)经常被用来用世界知识的结构化表示来扩充LMs,但如何有效地融合和推理KG表示和语言上下文仍然是一个悬而未决的问题,因为语言上下文提供了情境约束和细微差别。在这项工作中,我们提出了GREASELM,这是一种新的模型,它在多层模态交互操作上融合了来自预训练的LM和图神经网络的编码表示。来自两种模式的信息传播到另一种模式,允许语言上下文表示以结构化的世界知识为基础,并允许上下文中的语言细微差别(例如否定、对冲)告知知识的图形表示。我们在常识推理(即CommonsenseQA、OpenbookQA)和医学问答(即MedQA USMLE)领域的三个基准测试上的结果表明,GREASELM可以更可靠地回答需要对情境约束和结构化知识进行推理的问题,甚至优于8倍。

1 引言

2 相关工作

3 提出的方法:GREASELM

4 实验设置

5 实验结果

6 结论

在本文中,我们介绍了GREASELM,这是一种新的模型,通过语言模型和知识图谱中的知识之间的联合信息交换,实现交互式融合。实验结果表明,在来自多个领域(常识和医学)的标准数据集上,与先前的KG+LM和仅LM基线相比,性能优越。我们的分析表明,改进了能力建模问题,表现出文本的细微差别,如否定和对冲。

相关推荐
言德斐13 分钟前
数据挖掘知识体系分析
人工智能·数据挖掘
nju_spy14 分钟前
复杂结构数据挖掘(三)关联规则挖掘实验
人工智能·数据挖掘·apriori·网格搜索·关联规则挖掘·fp-growth·位运算状态枚举
Yuroo zhou16 分钟前
破空驭风,智领未来 --5KG物流配送无人机展示飞行!
人工智能·算法·机器人·硬件工程·无人机
大千AI助手23 分钟前
神经网络中的随机高斯初始化技术
人工智能·深度学习·神经网络·高斯分布·正态分布·参数初始化·随机高斯初始化
sensen_kiss23 分钟前
INT301 Bio-computation 生物计算(神经网络)Pt.4 多层感知机(Multilayer Perceptron,MLP)
人工智能·深度学习·神经网络
hans汉斯42 分钟前
【计算机科学与应用】基于多光谱成像与边缘计算的物流安全风险预警模式及系统实现
大数据·数据库·人工智能·设计模式·机器人·边缘计算·论文笔记
aneasystone本尊42 分钟前
深入 Dify 的应用运行器之知识库检索(续)
人工智能
许泽宇的技术分享1 小时前
Windows MCP.Net:解锁AI助手的Windows桌面自动化潜能
人工智能·windows·.net·mcp
从后端到QT1 小时前
大语言模型本地部署之转录文本总结
人工智能·语言模型·自然语言处理
AI新兵1 小时前
AI大事记13:GPT 与 BERT 的范式之争(上)
人工智能·gpt·bert