【CVPR2025】基于零空间投影：多模态大模型物体幻觉的零成本消除方法

背景

随着大型视觉-语言模型（LVLMs）的快速发展，其在图像描述、视觉推理等任务中表现出了强大的能力。然而，这些模型普遍存在物体幻觉（Object Hallucinations, OH）问题，即模型生成的文本在语义上虽然连贯，但与实际图像内容不符。这种幻觉现象在自动驾驶、具身 AI 等领域可能导致误判或有害决策，严重威胁 AI 系统的安全性和可靠性。现有的解决方法主要通过端到端微调或后处理技术来减轻 OH，但这些方法往往需要大量计算资源，且未能深入探讨 OH 的根源。

创新点

文章提出了 Nullu 方法，通过以下创新点有效减轻 LVLMs 中的 OH 问题：

提出 HalluSpace 概念 ：通过对比真实和幻觉特征，发现模型参数空间中存在低秩子空间 HalluSpace，该子空间代表了真实和不真实特征分布之间的差异，是引发 OH 的关键因素。
零空间投影策略 ：基于 HalluSpace，通过将模型权重投影到 HalluSpace 的零空间，有效消除幻觉特征，从而减轻 OH。这种方法直接编辑模型权重，无需额外推理成本，提高了模型推理效率。
揭示 HalluSpace 与 LLM 偏置的联系 ：通过对 HalluSpace 的解码分析，发现其与大型语言模型（LLMs）的统计偏置和单模态先验密切相关，从理论上解释了零空间投影如何抑制 LLMs 的先验以减少 OH。
建立与 DPO 的理论联系 ：将 Nullu 与直接偏好优化（DPO）联系起来，表明两者都试图通过消除特征差异来避免 OH，为理解 OH 缓解方法提供了新的视角。

方法

数据对构建 ：构建包含相同图像但不同文本提示的配对视觉 - 语言输入，其中一个是准确描述图像物体的真实输入，另一个是包含幻觉描述的输入。
探索 HalluSpaces ：在 LVLM 的每个模型层，计算真实和幻觉输入的嵌入特征，得到差异矩阵，通过奇异值分解（SVD）找到主要差异方向，即 HalluSpace。
编辑模型权重 ：利用 HalluSpace 的零空间投影，对模型的多层感知机（MLP）权重进行正交化编辑，以消除幻觉信息。
解码 HalluSpace ：通过将 HalluSpace 中的向量映射回词汇表，分析其背后的信息，发现其包含与 LLMs 先验相似的抽象潜在信息，验证了 Nullu 投影特征到 HalluSpace 零空间可以减少 LLMs 先验，从而减轻 OH。

图 2 直观地展示了整个方法的流程。首先，我们构建了配对的数据，每对数据包含相同的图像但文本不同，一个文本真实准确，另一个则包含幻觉信息。接着，在模型的每一层，我们分别提取这些正负样本的特征，并计算它们之间的差异矩阵。通过对此差异矩阵进行奇异值分解（SVD），我们能够识别出幻觉特征的主要方向，这些方向构成了所谓的 HalluSpace。最后，我们将模型权重投影到这个 HalluSpace 的零空间中，从而编辑模型的参数。经过这样处理后的模型在生成文本时，能够有效减少幻觉信息的出现，并且由于新权重可以直接应用于原始模型，整个推理过程不会增加额外的计算成本。

图 3 主要用于说明 Nullu 方法如何通过与现有技术对比来减少幻觉信息。图中通过比较 Nullu 和其他方法（如 VCD）在特定任务中的表现，展示了 Nullu 在减少幻觉信息方面的优势。它直观地呈现了不同方法在处理相同输入时的输出差异，说明了 Nullu 如何更有效地过滤掉幻觉特征，从而提高文本生成的准确性和相关性。

实验

文章在多个数据集和基准测试上对 Nullu 方法进行了评估，结果表明：

在 CHAIR 数据集上 ：Nullu 在不同 LVLMs（LLaVA-1.5、MiniGPT-4 和 mPLUG-Owl2）上均显著优于其他方法，有效降低了幻觉句子比例（CHAIRS）和幻觉物体比例（CHAIRI），同时保持了较高的文本生成质量（BLEU 值）。

在 POPE 数据集上 ：Nullu 在随机、流行和对抗三种采样设置下，均取得了较高的准确率、精确率和 F 分数，优于其他 OH 缓解方法。

在 MME 和 LLaVA-Bench 基准测试中 ：Nullu 编辑后的模型在感知相关任务和认知相关任务上均表现出一致的性能提升，特别是在文本相关任务（如 OCR 和代码推理）上显著增强，表明 Nullu 不仅减轻了 OH，还提高了模型的整体能力。

消融实验和进一步分析 ：验证了编辑层数和选取的奇异向量数量对 Nullu 性能的影响，发现编辑特定层数范围内的模型权重，并选择较大数量的奇异向量构建 HalluSpace，可使 Nullu 获得更好的效果。此外，通过对比测试样本和随机向量在 HalluSpace 上的投影，证实了 HalluSpace 能有效捕捉 LVLMs 响应中与幻觉和不准确信息相关的特征空间方向。

总结

本文提出的 Nullu 方法通过提取 HalluSpace 并编辑 LVLMs 权重，有效缓解了现代 LVLMs 中的物体幻觉问题。该方法具有以下优势：

高效性 ：无需额外推理成本，直接编辑模型权重，提高了推理效率，相比其他后处理方法更具优势。
普适性 ：在多个不同开源 LVLMs 上均表现出良好的性能提升，具有广泛的适用性。
理论支持 ：从理论上揭示了 HalluSpace 与 LLM 偏置的联系，并建立了与 DPO 的理论联系，为理解 OH 缓解方法提供了新的思路。
综合性提升 ：不仅减轻了 OH，还提高了模型在感知和认知任务上的整体能力，增强了 LVLMs 的可信度和安全性。

Nullu 方法为解决 LVLMs 的幻觉问题提供了新的视角和有效途径，对未来开发更可靠的视觉 - 语言模型具有重要意义。