LLM论文:ALCE (Enabling Large Language Models to Generate Text with Citations)

这是一篇RAG领域的文章,原文在这:https://aclanthology.org/2023.emnlp-main.398.pdf

|---------|---------------------------------------------------------------------------------------------------------------------------|
| 时间 | [Submitted on 24 May 2023 (v1), last revised 31 Oct 2023 (this version, v2)] |
| 背景 | LLM在信息搜索、生成带引用的文本时存在幻觉问题,即事实准确性有待提升,而且用户难以验证准确性。 |
| 现有工作的不足 | 人工评估或商用搜索引擎,难以复现和比较不同模型 |
| 解决 | 提出A utomatic L LM C itation Evalutation 自动化评估模型检索生成能力 |
| 创新点 | 1. 评估长文本生成 2. 自动评估引用质量 3. 允许为一个陈述引用多篇文章 |

具体工作内容:

数据集

有三个数据集,分别是

ALCE评估模型:

三方面评估

  • 流畅度------MAUVE (Pillutla et al., 2021)
  • 正确性------根据数据集特点,定制了三种评估方式,主要使用了召回率,正确率
  • 引用质量------根据数据集特点,定制了三种评估方式,主要使用了召回率,正确率

检索生成方式

  1. vanilla:提供模型可能包含答案的文章,写提示词告诉他要正确地引用
  2. summ/snippet: 不提供完整的文章而是概要版或某一段,为了减少信息损失,还结合了INTERACT,模型可以选择是否去看一个浓缩版对应的完整的文章
  3. inlinesearch: 不提供检索结果,允许模型调用搜索
  4. closebook:不提供外部文章,让模型闭卷给出答案。
相关推荐
酌沧14 分钟前
AI做美观PPT:3步流程+工具测评+避坑指南
人工智能·powerpoint
狂师18 分钟前
啥是AI Agent!2025年值得推荐入坑AI Agent的五大工具框架!(新手科普篇)
人工智能·后端·程序员
星辰大海的精灵20 分钟前
使用Docker和Kubernetes部署机器学习模型
人工智能·后端·架构
victory043123 分钟前
SpiceMix enables integrative single-cell spatial modeling of cell identity 文章解读
人工智能·深度学习
新智元27 分钟前
半数清华,8 位华人 AI 天团集体投奔 Meta!奥特曼:砸钱抢人不如培养死忠
人工智能·openai
新智元30 分钟前
全球顶尖 CS 论文惊爆 AI「好评密令」!哥大等 14 所高校卷入,学术圈炸锅
人工智能·openai
l0sgAi35 分钟前
vLLM在RTX50系显卡上部署大模型-使用wsl2
linux·人工智能
DDliu35 分钟前
花半个月死磕提示词后,我发现:真正值钱的不是模板,是这套可复用的结构化思维
人工智能
腾讯云开发者35 分钟前
AI 浪潮下的锚与帆:工程师文化的变与不变 | 架构师夜生活
人工智能
JoernLee36 分钟前
机器学习算法:支持向量机SVM
人工智能·算法·机器学习