ICLR2024: 大视觉语言模型中对象幻觉的分析和缓解

https://arxiv.org/pdf/2310.00754

https://github.com/YiyangZhou/LURE

背景

对象幻觉:生成包含图像中实际不存在的对象的描述

早期的工作试图通过跨不同模式执行细粒度对齐 (Biten et al.,2022)或通过数据增强 减少对象共现模式(Rohrbach et al.,2018; Kim et al.,2023)来解决小规模多模态预训练模型中的对象幻觉问题。最近的一些工作(Li et al.,2023c;Liu et al.,2023a;d)研究了通过增强用于微调的数据集的质量来减少LVLM中的对象幻觉。

经验和理论发现都揭示了对象幻觉可以归因于三个关键因素:共现、不确定性和对象位置

首先,如果训练数据包含对象之间的虚假共现模式,语言模型可能会基于这些学习到的虚假关联生成输出,从而导致幻觉描述。

其次,在生成过程中,幻觉更频繁地发生在以高不确定性为特征的对象上。

最后,位置因素也发挥了作用,因为由于误解的积累,更多的对象幻觉倾向于出现在生成描述的后半部分

贡献

提出了轻量级的后处理方法LVLM幻觉审阅器(LURE),通过重建较少幻觉的描述来事后纠正LVLM中的对象幻觉

LURE开发了一个对象幻觉审校器。这个审校器将潜在的幻觉描述作为输入,并将它们转换为准确的。

为了创建审校器,我们首先使用GPT-3.5生成一个幻觉数据集,方法是对原始正确的标题进行两次修改:

(1)在描述中插入额外的对象文本,这些文本很可能与初始描述中包含的对象共同出现。这种修改允许LURE学习有效地解开这种共现模式;

(2)用占位符支架替换不确定的对象或描述末尾的对象,鼓励审校器重新评估这些对象。

最后,我们利用获得的幻觉数据集训练我们的幻觉审校器。一旦经过训练,审校器可以与任何LVLM无缝集成,以纠正潜在的幻觉描述。

实验

为了验证我们的方法的性能增益不是来自于使用额外的数据来训练修订器,我们使用额外的数据集微调了原始LVLM

幻觉因素是否有助于性能增益?为了证明考虑共现不确定性物体位置在减少幻觉方面的影响,我们进行了消融实验,并在表4中报告了结果,其中"原始"代表了MiniGPT-4的描述。

在消融实验中,我们在没有三个因素的情况下训练和部署了修正器,一次一个。结果表明,所有三个因素都有助于训练一个强大的幻觉修正器来减少物体幻觉

相关推荐
qzhqbb39 分钟前
基于统计方法的语言模型
人工智能·语言模型·easyui
冷眼看人间恩怨1 小时前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041081 小时前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌2 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭2 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^2 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246663 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k3 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫3 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班3 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型