DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?

本文是LLM系列文章,针对《DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?》的翻译。

@TOC

摘要

大型语言模型(LLM)最近推动了一系列自然语言处理任务的显著性能改进。在预训练和指令调整过程中获得的事实知识可以用于各种下游任务,如问答和语言生成。与显式存储事实知识的传统知识库不同,LLM在其参数中隐式存储事实。LLM生成的内容往往会出现不准确或偏离事实的情况,因为事实可能会被错误地归纳或随着时间的推移而过时。为此,我们旨在通过设计基准Pinocchio来全面评估LLM中事实知识的程度和范围。Pinocchio包含了2万个不同的事实问题,这些问题跨越了不同的来源、时间线、领域、地区和语言。此外,我们研究LLM是否能够组成多个事实,在时间上更新事实知识,对多个事实进行推理,识别细微的事实差异,并抵制对抗性例子。对不同大小和类型的LLM进行的大量实验表明,现有的LLM仍然缺乏事实知识,并且存在各种虚假的相关性。我们认为这是实现值得信赖的人工智能的关键瓶颈。Pinocchio数据集和我们的代码将公开。

1 引言

2 数据集构建

3 方法

4 实验

5 相关工作

6 结论

在这项工作中,我们调查了LLM是否能够记忆事实知识并基于其进行推理,跨越各种问题类别和提示策略。为此,我们策划了Pinocchio基准测试,这是一个包含20713个问题的综合测试平台,涵盖了七项不同复杂性的任务。通过在Pinocchio基准上评估LLM和提示方法,我们发现采用各种提示策略(如多样本和自我一致性)的不同类型的LLM在实际任务中的表现仍然不理想。提高LLM在复杂和微妙的NLP任务上的事实知识和推理能力仍然是一个悬而未决的研究问题,我们鼓励未来的工作在我们提出的Pinocchio基准的基础上发展。

相关推荐
火山引擎开发者社区44 分钟前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔1 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区1 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1232 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI2 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健2 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV2 小时前
Google 重返第一梯队
人工智能·google·aigc
十有八七3 小时前
手搓 Agent(五):学会翻书——RAG,先查资料再回答
前端·人工智能·后端
阿里云大数据AI技术3 小时前
阿里云 Milvus 场景中心|一键部署你的AI应用
人工智能