LLM论文:ALCE (Enabling Large Language Models to Generate Text with Citations)

这是一篇RAG领域的文章,原文在这:https://aclanthology.org/2023.emnlp-main.398.pdf

|---------|---------------------------------------------------------------------------------------------------------------------------|
| 时间 | [Submitted on 24 May 2023 (v1), last revised 31 Oct 2023 (this version, v2)] |
| 背景 | LLM在信息搜索、生成带引用的文本时存在幻觉问题,即事实准确性有待提升,而且用户难以验证准确性。 |
| 现有工作的不足 | 人工评估或商用搜索引擎,难以复现和比较不同模型 |
| 解决 | 提出A utomatic L LM C itation Evalutation 自动化评估模型检索生成能力 |
| 创新点 | 1. 评估长文本生成 2. 自动评估引用质量 3. 允许为一个陈述引用多篇文章 |

具体工作内容:

数据集

有三个数据集,分别是

ALCE评估模型:

三方面评估

  • 流畅度------MAUVE (Pillutla et al., 2021)
  • 正确性------根据数据集特点,定制了三种评估方式,主要使用了召回率,正确率
  • 引用质量------根据数据集特点,定制了三种评估方式,主要使用了召回率,正确率

检索生成方式

  1. vanilla:提供模型可能包含答案的文章,写提示词告诉他要正确地引用
  2. summ/snippet: 不提供完整的文章而是概要版或某一段,为了减少信息损失,还结合了INTERACT,模型可以选择是否去看一个浓缩版对应的完整的文章
  3. inlinesearch: 不提供检索结果,允许模型调用搜索
  4. closebook:不提供外部文章,让模型闭卷给出答案。
相关推荐
聚客AI10 分钟前
大模型学习进阶路线图:从Prompt到预训练的四阶段全景解析
人工智能·llm·掘金·日新计划
晓131315 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
DeepSeek大模型官方教程1 小时前
NLP之文本纠错开源大模型:兼看语音大模型总结
大数据·人工智能·ai·自然语言处理·大模型·产品经理·大模型学习
MidJourney中文版1 小时前
深度报告:中老年AI陪伴机器人需求分析
人工智能·机器人
王上上2 小时前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm
智慧化智能化数字化方案2 小时前
69页全面预算管理体系的框架与落地【附全文阅读】
大数据·人工智能·全面预算管理·智慧财务·智慧预算
PyAIExplorer2 小时前
图像旋转:从原理到 OpenCV 实践
人工智能·opencv·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
burg_xun3 小时前
【Vibe Coding 实战】我如何用 AI 把一张草图变成了能跑的应用
人工智能