MDPO: Conditional Preference Optimization for Multimodal Large Language Models
相关链接：arxiv
关键字：多模态 、大型语言模型 、偏好优化 、条件偏好优化 、幻觉减少
摘要
直接偏好优化（DPO）已被证明是大型语言模型（LLM）对齐的有效方法。近期的研究尝试将DPO应用于多模态场景，但发现难以实现一致的改进。通过比较实验，我们确定了多模态偏好优化中的无条件偏好问题，即模型在优化过程中忽略了图像条件。为了解决这个问题，我们提出了MDPO，这是一个多模态DPO目标，它通过同时优化图像偏好来防止过度优先考虑仅基于语言的偏好。此外，我们引入了一个奖励锚点，强制奖励对于选定的响应为正，从而避免了它们的似然度降低------这是相对偏好优化的一个内在问题。在不同大小的两个多模态LLM和三个广泛使用的基准测试上的实验表明，MDPO有效地解决了多模态偏好优化中的无条件偏好问题，并显著提高了模型性能，特别是在减少幻觉方面。
核心方法
MDPO（多模态直接偏好优化）提出了一种针对多模态场景的改进的偏好优化方法。核心方法包括以下几个关键点：
-
条件偏好优化：通过引入新的偏好对来强调图像与响应之间的关系，解决模型在偏好数据中忽略视觉信息的问题。
-
奖励锚点：通过正则化奖励为正，保持选定响应的似然度，避免在相对偏好优化中选定响应的似然度降低。
-
多模态偏好数据：MDPO在优化过程中同时考虑视觉和语言特征，以确保模型能够基于图像和问题文本的条件学习响应偏好。
-
实验验证：通过在不同规模的多模态LLM上进行实验，验证MDPO在减少幻觉和提高模型性能方面的有效性。
-
性能提升：MDPO通过条件偏好优化和奖励锚点，显著提高了模型对图像的理解能力，并减少了模型响应中的语言偏差。
实验说明
实验使用了两个不同大小的多模态LLM（Bunny-v1.0-3B和LLaVA-v1.5-7B），并在三个广泛使用的基准测试（MMHalBench、Object HalBench和AMBER）上进行了评估。实验结果表明MDPO在多模态场景中的表现优于标准DPO，特别是在减少幻觉方面。
以下是实验结果的Markdown表格展示：
| 基准测试 | 指标 | Bunny-v1.0-3B (DPO) | Bunny-v1.0-3B (MDPO) | LLaVA-v1.5-7B (DPO) | LLaVA-v1.5-7B (MDPO) |
|---|---|---|---|---|---|
| MMHalBench | 分数 | 2.28 | 2.96 | 2.14 | 2.39 |
| 幻觉率 | 0.56 | 0.42 | 0.65 | 0.54 | |
| Object HalBench | CHAIRs | 44.3 | 27.0 | 49.0 | 35.7 |
| CHAIRi | 7.6 | 4.6 | 13.0 | 9.8 | |
| AMBER | 分数 | 74.1 | 67.4 | 55.1 | 52.4 |
| 覆盖率 | 58.9 | 37.7 | 34.5 | 24.5 | |
| 幻觉率 | 4.8 | 2.4 | 2.3 | 2.4 |
实验结果数据来源于论文中的实验部分，展示了MDPO在不同基准测试上的性能提升。数据要求反映了模型在减少幻觉和提高响应质量方面的表现。
结论
MDPO是一种针对多模态场景的偏好优化方法，它通过条件偏好优化和奖励锚点，有效地提高了多模态LLM的性能，并显著减少了幻觉。实验结果表明，MDPO在不同模型规模和数据规模上均能实现性能提升，证明了其在多模态偏好优化中的有效性和潜力。
整个论文的梳理保持了连贯性，并采用了技术性语言来描述方法和结果。对于深度学习的专业术语，如"大型语言模型（LLM）"和"直接偏好优化（DPO）"，保留了原文中的英文表述。