SegRGB-X: General RGB-X SemanticSegmentation Model

Abstract

面向任意传感器模态的语义分割，由于不同传感器之间存在显著的特性差异，面临着较大的挑战；同时，传统的任务配置方式往往需要针对不同模态分别开发专用模型，从而造成大量重复性的研发工作。为解决上述问题，我们提出了一种通用的任意模态语义分割框架，将多种模态下的语义分割统一到同一个模型中。该方法包含三项关键创新：

模态感知CLIP（Modality-aware CLIP，MA-CLIP）：通过LoRA微调，为不同模态提供具有针对性的场景理解指导；
模态对齐嵌入（Modality-aligned Embeddings）：用于提取并表征细粒度特征；
领域特定细化模块（Domain-specific Refinement Module，DSRM）：根据不同模态和领域特性，对特征进行动态调整与优化。

我们在五个具有不同辅助模态的数据集上进行了评估，所涉及的模态包括事件、热红外、深度、偏振和光场。实验结果表明，该模型不仅超越了针对特定多模态场景设计的专用方法，还取得了当前最先进的性能，mIoU达到 65.03%。相关代码将在论文被接收后公开。

I. INTRODUCTION

传感器技术的快速发展显著推动了面向语义分割的多模态融合研究进展 $1$ 、 $2$ 、 $3$ ，并引发了越来越多研究者对利用多种传感器模态提升分割精度的关注。近年来，已有方法 $1$ 、 $2$ 、 $4$ 、 $5$ 在多种多模态语义分割任务中取得了令人印象深刻的成果。然而，这些方法主要依赖于面向特定模态的专用模型，每个模型通常只针对某一种特定的模态组合进行定制。因此，对于每一种模态配对，都需要单独训练一个模型，从而导致模型设计和训练过程中的大量重复工作。

此外，由于每项任务所能获得的数据通常较为有限，这类专用模型容易过拟合于特定数据集的分布，从而牺牲模型的泛化能力。虽然扩大数据集规模能够在一定程度上缓解这一问题，但多模态数据的采集与标注通常需要耗费大量人力和时间。为解决这些局限，开发一种能够在统一架构中联合处理多种模态的通用模型，成为一个很有前景的研究方向。此类模型不仅能够利用不同模态之间共享的特征表示，还可以充分利用所有可获得的训练数据。

与此同时，大规模预训练视觉语言模型（Vision-Language Models，VLMs），例如 CLIP $6$ 、ALIGN $7$ 和 BLIP $8$ ，已经在广泛的视觉任务中展现出强大的泛化能力。这些模型通过海量图像---文本对进行训练，学习到丰富的特征表示，因此能够有效应用于多种下游任务。然而，视觉语言模型在多模态语义分割中的作用仍然较为有限，主要原因在于它们通常是在标准 RGB 图像及其对应文本描述上进行预训练的。因此，这些模型对于事件、热红外、深度、偏振和光场等多种传感器模态的泛化能力受到限制，从而降低了其在更加复杂的多模态场景中的有效性。

在本工作中，我们提出了 SegRGB-X，一种能够处理多种传感器模态的通用 RGB-X 语义分割模型。该模型架构主要包括：

配备模态对齐嵌入和领域特定细化模块的主干网络；
模态感知 CLIP；
语义分割预测头。

为克服视觉语言模型在多模态分割任务中的局限，我们使用 LoRA $13$ 在多模态语义分割数据上对 CLIP 进行微调，使得到的**模态感知 CLIP（Modality-Aware CLIP，MA-CLIP）**能够作为模态信息提供器。

为了缓解输入嵌入特征与 MA-CLIP 生成的控制提示之间存在的特征空间差异，我们提出了一种包含可学习提示的模态对齐嵌入机制 。此外，在主干网络的最后阶段，我们设计了领域特定细化模块（Domain-Specific Refinement Module，DSRM），用于进一步优化不同模态的专属特征。

如图 1 所示，我们在五个多模态语义分割数据集上对 SegRGB-X 进行了联合训练和评估。与当前最先进的方法相比，SegRGB-X 在 DeLiVER $2$ 、MFNet $9$ 、NYUDepthV2 $10$ 、RGB-P $11$ 和 UrbanLF $12$ 五个数据集上取得了最高的平均性能。

本文的主要贡献总结如下：

我们提出了 SegRGB-X，一种能够在统一框架中处理多种模态的通用模型，所涉及的模态包括事件、热红外、深度、偏振和光场，从而解决了传统模态专用模型需要针对不同模态分别设计和训练的问题。
我们提出了 MA-CLIP，通过 LoRA 在多模态语义分割数据上对 CLIP 进行微调，从而有效缩小视觉语言预训练与多模态语义分割之间的差距。
我们设计了一种模态对齐嵌入机制，通过引入可学习提示，对输入嵌入与 MA-CLIP 所生成控制提示之间的特征空间进行对齐。在主干网络的最后阶段，我们进一步设计了 DSRM，用于自适应地细化模态专属特征，从而提升语义分割性能。
我们在五个具有不同模态类型的多模态语义分割数据集上进行了联合训练和评估。SegRGB-X 取得了 65.03% 的平均 mIoU，达到当前最先进水平，并超越了以往针对特定模态设计的专用模型。

a）多模态语义分割

为了克服RGB图像的局限性，近年来多模态语义分割研究开始探索多种模态组合，以获得优于传统纯RGB方法的分割性能。RGB-D融合方法 $14$ 、 $15$ 、 $16$ 利用深度信息增强场景理解能力，而RGB-热红外方法则引入针对热红外模态设计的融合策略 $17$ 、 $18$ 、 $19$ 。与此同时，一些新的传感器模态也逐渐受到关注，例如用于透明物体分割的偏振信息 $20$ ，以及用于场景分析的事件数据 $21$ 、 $22$ 、 $23$ 、 $24$ 。其他相关进展还包括面向LiDAR数据的感知融合方法 $25$ 、深度自适应卷积技术 $26$ 、 $27$ 、 $28$ ，以及多任务掩码自动编码方法 $29$ 。此外，研究者还提出了多种基于注意力机制的融合方法，以促进不同模态之间的交互 $30$ 、 $31$ 、 $32$ 。CMX $1$ 是处理任意固定RGB-X模态对的一项代表性工作。CMNeXt $2$ 进一步将这一能力扩展到任意但固定的多模态组合。在CMNeXt的基础上，后续又出现了多种改进方法。Gemini Fusion $4$ 借鉴Token融合思想，采用逐像素注意力机制进行多模态融合。MAGIC $33$ 提出了一种多模态聚合模块，用于高效提取不同模态之间的互补场景信息；其改进版本Magic++ $34$ 进一步引入了多尺度任意模态选择模块（Multi-scale Arbitrary-modal Selection Module，MASM）和一致性训练策略。StitchFusion $5$ 使用多方向MLP，以增强不同模态之间的信息共享和特征融合。Any2Seg $35$ 则提出了语言引导的语义相关性蒸馏模块，在嵌入空间中同时建模模态间语义关系和模态内语义关系。**尽管上述方法取得了较强的性能，但它们在训练阶段通常依赖预先固定的输入模态，因此难以灵活适应不同的传感器组合。**相比之下，我们提出了一种通用的任意模态语义分割框架，使一个通用模型能够统一处理多种不同的传感器模态。

b）视觉语言模型

通过可扩展的预训练策略，视觉---语言理解近年来取得了显著进展。CLIP $6$ 提出了基于对比学习的图像---文本对齐方法，为多模态表征学习奠定了基础。ALIGN $7$ 进一步利用大规模网络数据中的噪声监督，提高了模型的鲁棒性。BLIP $8$ 则通过自举式预训练，将视觉---语言理解与生成任务统一到同一框架中。近年来，提示学习技术 $36$ 以及 LLaMA-Adapter $37$ 等轻量级适配器的发展，也进一步提升了模型面向下游任务进行高效适配的能力。DA-CLIP $38$ 提出了一种新的双编码器框架，其中引入了一个图像控制器。该控制器最初由 CLIP 图像编码器复制而来，通过学习对原始编码器进行控制，并生成退化表征嵌入。尽管这些视觉语言模型具备出色的表征能力，但它们主要是在自然图像---文本对上进行训练，并非专门针对涉及 RGB-X 模态的任务而设计。因此，将其应用于多模态语义分割时仍然面临较大挑战。为弥补这一不足，本文采用基于 LoRA 的参数高效微调方法 $13$ ，使 CLIP 能够适应跨模态特征对齐。该方法实现了视觉---语言预训练知识与多种传感器模态的有效结合，从而增强模型对复杂场景进行全面理解的能力。

III. METHODOLOGY

在本节中，我们介绍SegRGB-X------一个通用的RGB-X语义分割模型。首先在第III-A节概述整体流程，随后分别详细阐述三个核心组件：第III-B节介绍MA-CLIP，第III-C节阐述模态对齐嵌入技术，第III-D节说明 DSRM 。损失函数则在第III-E节中予以说明。

A. Overview

如图2所示，我们提出的 SegRGB-X 模型主要由以下部分组成：

配备模态对齐嵌入 和 DSRM 的主干网络；
模态感知CLIP（MA-CLIP）；
语义分割头。

首先，对MA-CLIP进行预训练，使其能够从不同类型的输入数据中提取模态特定的表征。完成预训练后，MA-CLIP的参数被冻结，并作为模态信息提供器 使用。RGB图像和任意辅助模态输入分别通过MA-CLIP进行并行处理，从而生成对应的特征嵌入 (S^r) 和 (S^m)。主干网络由四个阶段组成。在每个阶段中，采用共享权重的Transformer模块 $39$ ，同时处理两个经过模态对齐的嵌入。不同模态分支之间共享Transformer模块的参数，以保证特征提取过程的一致性和高效性。在特征融合阶段，模型采用CMNeXt $2$ 中的 FRM 和 FFM 模块，对RGB分支与辅助模态分支的特征进行整合。在主干网络的最后一个阶段，引入领域特定细化模块（Domain-Specific Refinement Module，DSRM），用于自适应地细化不同模态的专属特征。最后，语义分割头接收来自四个阶段的融合特征，并生成最终的语义分割预测结果。

B. Modality-aware CLIP

模态感知CLIP（Modality-aware CLIP，MA-CLIP）的目标，是使预训练的CLIP模型能够从多种不同的输入模态中提取具有模态特异性的表征。具体而言，为弥补CLIP $6$ 对辅助模态先验知识不足的问题，我们引入LoRA $13$ 进行适配。在训练过程中，我们冻结预训练CLIP $6$ 的全部参数，仅对LoRA $13$ 模块进行微调。由于本文所使用的训练数据集规模远小于视觉语言模型所采用的网络级大规模数据集，因此，这种LoRA微调策略能够在保留原始图像编码器能力的同时，减轻模型过拟合问题。随后，这些特征嵌入会进一步输入语义分割主干网络，以辅助完成细粒度语义分割任务。如图3所示，MA-CLIP冻结了原始CLIP架构 $6$ 中的文本编码器和图像编码器。为了使图像编码器能够适应不同类型的输入模态，我们设计了一个LoRA池（LoRA pool），其中包含所有数据集所支持模态对应的LoRA模块。LoRA池中的每个LoRA模块 $13$ 均采用对比学习损失 $6$ 进行训练。训练时，梯度通过图像编码器的计算过程，并更新当前模态所对应的LoRA模块。

C. Modality-aligned Embedding

提示（Prompt）通常用于为模型提供引导信息，使其能够相应地调整自身行为。基于这一思想，设输入的图像块嵌入为模态特定提示嵌入为。将二者拼接后，新的输入表示为为了执行注意力计算，首先通过投影矩阵得到查询、键和值，随后，注意力矩阵可以分解为：，其中，AEEA_{EE}AEE 和 AMMA_{MM}AMM 分别表示图像块嵌入之间以及模态提示之间的自注意力；AEMA_{EM}AEM 和 AMEA_{ME}AME 则表示图像块嵌入与模态提示之间的交互。注意力输出可以表示为：为了避免错误信息在不同编码器层之间持续传播，模型舍弃提示对应的输出 O_M，仅保留图像块对应的输出 O_E。对于 OEO_EOE 中第 i 个图像块，其输出可以表示为：