DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?

本文是LLM系列文章,针对《DO LARGE LANGUAGE MODELS KNOW ABOUT FACTS?》的翻译。

@TOC

摘要

大型语言模型(LLM)最近推动了一系列自然语言处理任务的显著性能改进。在预训练和指令调整过程中获得的事实知识可以用于各种下游任务,如问答和语言生成。与显式存储事实知识的传统知识库不同,LLM在其参数中隐式存储事实。LLM生成的内容往往会出现不准确或偏离事实的情况,因为事实可能会被错误地归纳或随着时间的推移而过时。为此,我们旨在通过设计基准Pinocchio来全面评估LLM中事实知识的程度和范围。Pinocchio包含了2万个不同的事实问题,这些问题跨越了不同的来源、时间线、领域、地区和语言。此外,我们研究LLM是否能够组成多个事实,在时间上更新事实知识,对多个事实进行推理,识别细微的事实差异,并抵制对抗性例子。对不同大小和类型的LLM进行的大量实验表明,现有的LLM仍然缺乏事实知识,并且存在各种虚假的相关性。我们认为这是实现值得信赖的人工智能的关键瓶颈。Pinocchio数据集和我们的代码将公开。

1 引言

2 数据集构建

3 方法

4 实验

5 相关工作

6 结论

在这项工作中,我们调查了LLM是否能够记忆事实知识并基于其进行推理,跨越各种问题类别和提示策略。为此,我们策划了Pinocchio基准测试,这是一个包含20713个问题的综合测试平台,涵盖了七项不同复杂性的任务。通过在Pinocchio基准上评估LLM和提示方法,我们发现采用各种提示策略(如多样本和自我一致性)的不同类型的LLM在实际任务中的表现仍然不理想。提高LLM在复杂和微妙的NLP任务上的事实知识和推理能力仍然是一个悬而未决的研究问题,我们鼓励未来的工作在我们提出的Pinocchio基准的基础上发展。

相关推荐
泯泷13 小时前
别再手动盯盘了!用这个免费工具实现股市自动监控
人工智能
陈如水14 小时前
Spring AI Alibaba 在多 Agent 场景下的实践
java·人工智能·spring
瓶瓶持续学习中14 小时前
物理AI与具身智能的技术架构区别:从空间建模到机器人动作执行
人工智能·机器人
羲云网络14 小时前
GPT Image 2.6 精准编辑前,先排查参考图的访问权限与输入交接
图像处理·人工智能·aigc
snakeshe101014 小时前
ChatGLM行业垂直领域微调实战:从需求分析到数据集加载完整流程
人工智能
智联视频超融合平台18 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟19 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯20 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐20 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means