ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models
在本研究中，提出了一种无需进行训练的方法，通过可学习的潜变量优化将视觉提示注入到多模态大型语言模型（MLLMs）中。
在MLLMs核心模块中，注意力连接文本提示标记和视觉标记，并最终确定输出结果起着重要作用。
提出的方法涉及在推理过程中调整与视觉标记相关联部分的MLP输出，以控制注意力响应并确保文本提示标记关注指定区域内的视觉标记。
通过基于能量函数优化一个可学习的潜变量，增强了注意图对指定区域描述和推理任务的能力，而无需进行大规模训练或重新训练模型。
因此，本文提供了一种有希望将引用能力集成到MLLMs中，并支持使用框、蒙版、涂鸦和点等方式进行引用的方法。
动机
要解决的问题
- 传统MLLMs的局限性 ：
- 粗粒度图像对齐：传统多模态大语言模型（MLLMs）主要依赖于粗粒度的图像级对齐，这限制了用户通过文本提示进行详细区域描述和推理的能力。
- 文本提示的局限性：文本提示往往无法捕捉图像中的复杂视觉细节，导致模型在理解图像内容时的局限性。
- 现有方法的不足 ：
- 高训练成本：现有的将引用能力集成到MLLMs中的方法通常需要大量的训练数据，并且模型需要针对新数据域或新基础MLLMs进行重新训练。
- 缺乏灵活性：模型在域迁移时表现不佳，缺乏灵活性。
解决问题的策略
- 提出一种无训练的方法：通过可学习的潜在变量优化，将视觉提示注入到MLLMs中，无需对模型进行训练或微调。
- 利用注意力机制：通过调整MLLMs解码器中的注意力图，控制文本提示标记关注到视觉标记在指定区域，从而增强对指定区域的描述和推理能力。
方法
1. 方法概述
- 核心思想：在推理过程中，通过调整MLP输出的视觉标记，控制注意力响应，确保文本提示标记关注到视觉标记在指定区域。
- 优化目标：基于能量函数优化一个可学习的潜在变量，增强注意力图中指定区域的强度。
2. 方法步骤
2.1 分析MLLMs中的注意力
- 注意力图的作用：注意力图模型了视觉标记和文本提示标记之间的关系，显著影响生成的文本。
- 直接修改注意力图的不可行性：直接修改注意力图需要仔细选择调整系数，且容易影响LLM的语言能力。
2.2 通过潜在变量学习操纵注意力
- 引入可学习的潜在变量：在视觉标记中增加一个可学习的潜在变量，通过优化该变量来间接影响注意力图。
- 能量函数设计：设计能量函数来计算输入引用和注意力图之间的关系，支持四种引用形状（框、掩码、涂鸦和点）。
- 上下文标记：通过平均池化每个文本提示标记生成的注意力图，生成代表全局上下文的上下文标记，简化计算并保留关键信息。
2.3 方法流程
- 视觉编码：使用冻结的视觉编码器和后续的MLP将图像编码为视觉标记。
- 文本编码：将文本提示编码为文本标记。
- 注意力计算：计算视觉标记和文本标记之间的注意力图。
- 潜在变量优化：基于能量函数优化可学习的潜在变量，增强指定区域的注意力强度。
- LLM解码：使用优化后的视觉标记和文本标记作为输入，通过LLM解码器生成输出文本。
总结
本文提出了一种无训练的方法，通过优化可学习的潜在变量，将视觉提示注入到MLLMs中，从而实现对指定区域的详细描述和推理。该方法利用注意力机制，通过调整注意力图来增强指定区域的强度，无需对模型进行训练或微调，具有灵活性和泛化能力。
