MDPO:Conditional Preference Optimization for Multimodal Large Language Models

MDPO: Conditional Preference Optimization for Multimodal Large Language Models

相关链接:arxiv

关键字:多模态大型语言模型偏好优化条件偏好优化幻觉减少

摘要

直接偏好优化(DPO)已被证明是大型语言模型(LLM)对齐的有效方法。近期的研究尝试将DPO应用于多模态场景,但发现难以实现一致的改进。通过比较实验,我们确定了多模态偏好优化中的无条件偏好问题,即模型在优化过程中忽略了图像条件。为了解决这个问题,我们提出了MDPO,这是一个多模态DPO目标,它通过同时优化图像偏好来防止过度优先考虑仅基于语言的偏好。此外,我们引入了一个奖励锚点,强制奖励对于选定的响应为正,从而避免了它们的似然度降低------这是相对偏好优化的一个内在问题。在不同大小的两个多模态LLM和三个广泛使用的基准测试上的实验表明,MDPO有效地解决了多模态偏好优化中的无条件偏好问题,并显著提高了模型性能,特别是在减少幻觉方面。

核心方法

MDPO(多模态直接偏好优化)提出了一种针对多模态场景的改进的偏好优化方法。核心方法包括以下几个关键点:

  1. 条件偏好优化:通过引入新的偏好对来强调图像与响应之间的关系,解决模型在偏好数据中忽略视觉信息的问题。

  2. 奖励锚点:通过正则化奖励为正,保持选定响应的似然度,避免在相对偏好优化中选定响应的似然度降低。

  3. 多模态偏好数据:MDPO在优化过程中同时考虑视觉和语言特征,以确保模型能够基于图像和问题文本的条件学习响应偏好。

  4. 实验验证:通过在不同规模的多模态LLM上进行实验,验证MDPO在减少幻觉和提高模型性能方面的有效性。

  5. 性能提升:MDPO通过条件偏好优化和奖励锚点,显著提高了模型对图像的理解能力,并减少了模型响应中的语言偏差。

实验说明

实验使用了两个不同大小的多模态LLM(Bunny-v1.0-3B和LLaVA-v1.5-7B),并在三个广泛使用的基准测试(MMHalBench、Object HalBench和AMBER)上进行了评估。实验结果表明MDPO在多模态场景中的表现优于标准DPO,特别是在减少幻觉方面。

以下是实验结果的Markdown表格展示:

基准测试 指标 Bunny-v1.0-3B (DPO) Bunny-v1.0-3B (MDPO) LLaVA-v1.5-7B (DPO) LLaVA-v1.5-7B (MDPO)
MMHalBench 分数 2.28 2.96 2.14 2.39
幻觉率 0.56 0.42 0.65 0.54
Object HalBench CHAIRs 44.3 27.0 49.0 35.7
CHAIRi 7.6 4.6 13.0 9.8
AMBER 分数 74.1 67.4 55.1 52.4
覆盖率 58.9 37.7 34.5 24.5
幻觉率 4.8 2.4 2.3 2.4

实验结果数据来源于论文中的实验部分,展示了MDPO在不同基准测试上的性能提升。数据要求反映了模型在减少幻觉和提高响应质量方面的表现。

结论

MDPO是一种针对多模态场景的偏好优化方法,它通过条件偏好优化和奖励锚点,有效地提高了多模态LLM的性能,并显著减少了幻觉。实验结果表明,MDPO在不同模型规模和数据规模上均能实现性能提升,证明了其在多模态偏好优化中的有效性和潜力。

整个论文的梳理保持了连贯性,并采用了技术性语言来描述方法和结果。对于深度学习的专业术语,如"大型语言模型(LLM)"和"直接偏好优化(DPO)",保留了原文中的英文表述。

相关推荐
qiyue777 分钟前
AI编程专栏(五)-提示词知识-通用提示结构或框架
人工智能·ai编程
小塵11 分钟前
【DeepSeek 聊天】五分钟部署本地 DeepSeek
人工智能·后端·deepseek
clz131452115 分钟前
二,神经网络
人工智能·深度学习·神经网络
陈敬雷-充电了么-CEO兼CTO35 分钟前
主流大模型Agent框架 AutoGPT详解
人工智能·python·gpt·ai·chatgpt·nlp·aigc
移远通信37 分钟前
从端侧AI到全链路解决方案:移远通信如何重塑AloT产业?
人工智能
美狐美颜SDK开放平台1 小时前
未来已来:美颜SDK如何通过深度学习实现个性化美颜形象?
人工智能·深度学习·美颜sdk·直播美颜sdk·视频美颜sdk·直播美颜工具·美颜api
新智元1 小时前
谢赛宁团队论文爆雷,暗藏 AI 好评提示震碎学术圈!本人急发长文反思
人工智能·openai
新智元1 小时前
老黄封神!英伟达市值首破4万亿美元,全球第一
人工智能·openai
拓端研究室1 小时前
专题:2025母婴行业洞察报告|附60+份报告PDF汇总下载
开发语言·人工智能·python
ice851 小时前
LLM流式输出实现
前端·人工智能·面试