DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?

本文是LLM系列文章,针对《DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?》的翻译。

@TOC

摘要

大型语言模型(LLM)最近推动了一系列自然语言处理任务的显著性能改进。在预训练和指令调整过程中获得的事实知识可以用于各种下游任务,如问答和语言生成。与显式存储事实知识的传统知识库不同,LLM在其参数中隐式存储事实。LLM生成的内容往往会出现不准确或偏离事实的情况,因为事实可能会被错误地归纳或随着时间的推移而过时。为此,我们旨在通过设计基准Pinocchio来全面评估LLM中事实知识的程度和范围。Pinocchio包含了2万个不同的事实问题,这些问题跨越了不同的来源、时间线、领域、地区和语言。此外,我们研究LLM是否能够组成多个事实,在时间上更新事实知识,对多个事实进行推理,识别细微的事实差异,并抵制对抗性例子。对不同大小和类型的LLM进行的大量实验表明,现有的LLM仍然缺乏事实知识,并且存在各种虚假的相关性。我们认为这是实现值得信赖的人工智能的关键瓶颈。Pinocchio数据集和我们的代码将公开。

1 引言

2 数据集构建

3 方法

4 实验

5 相关工作

6 结论

在这项工作中,我们调查了LLM是否能够记忆事实知识并基于其进行推理,跨越各种问题类别和提示策略。为此,我们策划了Pinocchio基准测试,这是一个包含20713个问题的综合测试平台,涵盖了七项不同复杂性的任务。通过在Pinocchio基准上评估LLM和提示方法,我们发现采用各种提示策略(如多样本和自我一致性)的不同类型的LLM在实际任务中的表现仍然不理想。提高LLM在复杂和微妙的NLP任务上的事实知识和推理能力仍然是一个悬而未决的研究问题,我们鼓励未来的工作在我们提出的Pinocchio基准的基础上发展。

相关推荐
GoldenSpider.AI5 分钟前
讲透 Claude Code 的 Code Mode:原理、流程、用法与 24 轮实测
人工智能·ai编程·claude code
oak隔壁找我6 分钟前
一款运行在 DSH(DeepSeek Harness)中的工作区文件管理插件
人工智能
江屿风15 分钟前
AI Agent架构全解析:从规划到记忆的智能跃迁
人工智能·笔记·架构·agent·c/s·mcp工作流
ZONGYUAN-ROOT18 分钟前
【API配额】多源 LLM API 配额池化实战:轮换调度、变化量监控、故障自愈一套方案(Python 完整实现)
人工智能
syso_稻草人27 分钟前
qwen-image-2.1 高清放大拆解:Qwen21LatentUpscale 潜空间 2x + denoise 0.35 修细节,12 组场景实测
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
羲云网络1 小时前
GPT Image 2.6 动态表情怎么改:从情绪歧义到动作节奏验收
人工智能·gif·图像编辑
EatFan2 小时前
AI Agent 工程化元年:从单体智能到 Agent 集群的架构演进与落地路径
人工智能·架构·ai agent·autogen·crewai·agent集群·记忆工程
泯泷2 小时前
别再“裸聊”大模型了!你家的 AI 为什么总胡说八道?根子在 RAG
人工智能·算法·架构
玖米GEO运营王总监2 小时前
成都AI数字人视频怎么批量生产?流程与合规标注
大数据·人工智能·音视频
f6m274dww2cmd3 小时前
拆一个类目第一的20个曝光词:43% 的搜索量来自第二页
人工智能