REALFUSION · TIP 2026
融合的时候也要保留自己的模态本色
2026/IEEE TIP 模态不变融合 Infrared Visible
模态不变融合
导读
红外图像可以很好地显示出热辐射的目标，而可见光图像则更适合用来展示颜色、纹理和细节。将两者放在一个融合网络里，应该会得到更加完整场景的表现。但是融合图像信息增加，并不能保证下游模型更容易识别目标：同一个行人在热成像和可见光上同时存在，可能会使边界和语义线索不一致。
RealFusion 选择从另一个角度来考虑问题：首先，在共享语义空间里对互补的信息进行融合，然后再分别恢复出红外和可见两种真实的模态形态。所以最后输出的并不是一张很难归类的混合图，而是一张红外融合图IrFI和一张可见光融合图ViFI。它们应该各自保持自己所属模态的表征，并且吸收另一个模态有效的线索。
两个真实的多模态输出，一个是互补的表示。
PART 01.
MOTIVATION
由原来的"混合外观"变成了现在的双模态重建
核心信息
论文标题：RealFusion: Rethinking Infrared and Visible Image Fusion From a Modality-Invariant Perspective
作者：Hengshuai Cui、Wenda Zhao*、Haipeng Wang、Jun Yan、Hao Liu
作者单位：大连理工大学、中国人民解放军92728部队、武汉数字工程研究所
论文链接：
https://ieeexplore.ieee.org/document/11715956
代码链接：
https://github.com/HengshuaiCui/RealFusion
RealFusion 用同一个共享融合特征来分别解码IrFI和ViFI。它并不是简单的复制两张源图，在跨模态互补的基础上分别恢复出红外和可见光两种不同的表达方式。
研究动机｜为什么一张融合图可能不够呢？
传统的IVIF的目标一般就是把红外目标显著性、可见光的细节一起保存到一张图片里。从视觉效果来看，很明显存在一个问题：**一张融合图上同一个物体，在融合之后已经不符合任何一个真实的传感器稳定的外观了。**下游分割器或者检测器面对这样的混合表征的时候，并不一定可以提取出完整的目标特征。
难点一：红外线和可见光之间存在着明显的差异
红外线可以描述出热辐射的情况，而可见光则用来描绘反射光所形成的颜色和纹理。直接对齐或者拼接两种方式，可能会使得语义上相同的区域，在表示空间中彼此相距较远，从而造成跨模态交互困难。因此RealFusion先学习和具体的模态没有关系的场景语义提示为了使两路特征相一致而设立的一个参照点。
难点二：共享融合表示不等于真实模态输出
即使中间特征已经融合了互补信息，也不能直接保证由单一解码器产生的图像仍然具有统一的红外或者可见光属性。作者把输出端的"模态不一致"单独列出来作为问题，并且让共享特征分别映射到红外空间和可见光空间中去。论文由单一输出走向双输出的主要目的就是这样的。
核心创新：由一张混合图发展到两个真实的模态重构
**① 融合范式的改变：**常见的做法是把两种传感器的特性混合到一张图中，而RealFusion则是在共同融合表示的基础上恢复出IrFI、ViFI两个输出。两张图并不是对原图简单的复制，而是在不同的模态中分别注入了红外或者可见光的外观属性，并且保持了不同模态之间互补的内容。
**② 可以学习到的场景提示（SPG）：**不以一组固定的句子作为整个数据集的统一指导，而要让提示吸收当前红外、可见光的视觉上下文，并用语义分割目标监督。得到这样的提示更有可能指向对人的感知产生影响的场景结构。
**③ 明显的差异交互（DIF）：**不把"共同信息"、"独有信息"全部交给黑盒注意力处理，而是在先构造出共性与差异分量之后，再通过不同的自适应通道权重来整合。共享的内容要保证场景的一致性，而模态的不同则可以给互补增益带来来源。
**④ 有方向的模态重建（RFIR）：**用模态引导法来确定从共享表示到某个特定模态空间的投影方向，并结合仿射缩放、偏移和变换约束等手段，防止双分支只依靠输出端的监督而各自猜测模态风格的情况发生。
METHOD
PART 02
场景提示驱动对齐和差异融合
文本像素对齐
视觉语义交互
场景提示
方法解析：SPG→PCFF→RFIR
第一阶段为SPG（Scene Prompt Generation））。它可以从红外和可见光图像中学习出可以描述同一个场景的提示，在语义分割监督下形成少受具体模态外观影响的语义参照，主要解决的是"跨模态特征差距"的问题。
第二阶段为PCFF(Prompt-guided Cross-modal Feature Fusion)）。PFA 根据提示来执行像素-文本对齐，将两条特征投射到同一个语义空间中；DIF 再进行拆分，并且选择性的融合共性内容和互补差异，主要解决的是"信息如何传播"的问题。
第三阶段为RFIR（Real-modality Fusion Image Reconstruction）。模型会把共享融合特征沿着各自模态的方向进行变换，并交给红外和可见光解码器来分别得到IrFI和ViFI，主要解决的是"输出属于哪一种模态"的问题。
方法细究①｜SPG：使场景提示真正地"看到"图像
SPG的输入同时含有红外图像和可见光图像。论文用到的是预训练CLIP的图像编码器、文本编码器和一组可以学习的提示词向量组成的一组场景提示；使用了ResNet-50来作为CLIP图像编码器，并且设置了16个可以被学习到的词向量。提示不是现成的自然语言场景描述，在训练过程中可以被更新为语义表示。
VCP（Vision-aware Context Prompt）把视觉特征加入到文本提示中去：首先利用跨注意力来使提示"看到"到当前两条图像的上下文，另外还要建立文本特征与像素特征之间的语义联系。因此同一套提示不需要对所有的场景都给出固定的语义偏好，它可以随着输入的内容而变化。
方法细究②｜PFA：把两种特征放到同一个语义坐标里
在PCFF中，红外和可见光分别由各自的编码器提取出多尺度特征。PFA(Prompt-driven Feature Alignment)把图像特征投影成查询向量Q，把学习到的场景提示投影成键K、值V，根据像素-文本相似度来获得注意力，然后用残差的方式回写图像特征。
不把文本当作要生成的句子来看待，而是把它当作跨模态一致的语义坐标：一个区域即使在红外图中主要表现为热响应，在可见光图中主要表现为纹理，也可以通过和同一个场景语义的关联来建立联系。
方法细究③｜DIF：共同信息要稳定，差异信息要准确
对齐完成后，DIF（Differential Interaction Fusion））要解决的问题是另外一个：**对齐并不意味着两种模态的信息要完全一样。**红外中明显的热目标、可见光中的结构纹理，就是融合希望保留的不同之处。过分地突出相似性，就会减弱有价值互补的信息。
DIF 显式地构造出两种内容。第一类就是两路对齐特征的共同分量，用来表示目标和场景共有的结构；另外一类是通过特征相减来获得差异分量，分别表示红外和可见光所特有的信息。原论文式(10)对应的是两路差异分量，而Figure 7则把分解、加权和融合的过程描绘得非常清楚。
RFIR：沿着模态方向"走回去"
RFIR是本文思想最能体现的地方。网络中已经有了共享融合特征，但是它仍然处于模态混合的表示空间。简单的接上一个解码器的话，模型就有可能直接画出红外和可见光外观混合在一起的图片了。作者因此提出了两个解码的方向：一个是把这份共享特征送回去红外特征空间、可见光特征空间然后重新建立IrFI、ViFI。
为了使"回到红外/可见光"不仅仅停留在口头上，作者首先使用自监督图像重建网络来获得各自模态空间的参照特征，然后把共享空间和对应的模态空间之间的特征差异用来构造模态引导向量。可以将该向量看作是从共同语义中心出发，指向某一真实的模态方向，并不是随便输出的一种风格参数。
方法细究⑤｜训练目标：除了要像外，还要保持模态的身份
RealFusion 使用了分阶段训练的方式：首先用两路语义分割损失来学习场景提示，然后训练模态不变融合网络。第二阶段除了红外和可见光的融合重建损失之外，还会增加两路模态变换损失；原论文式(17)中给出的是所有损失之和。
融合损失用SSIM相关的约束来促进IrFI和ViFI吸收源图中可用的互补信息，模态变换损失则用来规范共享特征向目标模态空间映射的方式。注意，"生成两张图"本身并不是充分条件；关键在于两组结果都以真实的模态表现出来，并且可以比单一模态源图提供的信息更加全面。
在仿射模块的数量实验里，论文把L=1、2、3进行比较，在WHU上L=2的整体表现最好。变化太少，模态外观恢复不够；过于强烈的变化可能会掩盖住另外一种模态所带来的一些补充信息。体现的是"保持身份"与"保留互补"的平衡。
仿射模态变换
差异特征
PART 03
EXPERIMENT
实验验证｜图像质量对下游感知的影响
实验验证：四个数据集和三种任务
实验部分要分成三根线来观察：第一是输出图象是否保留了足够的对比度和细节；二是这样的图片是否可以提高语义分割的效果；第三点就是对目标检测有没有好处。本文在MFNet、WHU、Potsdam和M³FD四个数据集上进行了评价，并且用消融实验来说明收益来自于哪里。
实验设计：MFNet主要针对的是多光谱道路交通场景，WHU和Potsdam涵盖了遥感地物，M³FD包含了多天气、昼夜条件下交通目标。在训练过程中用到的是224×224大小的图片块；考虑到高分辨率的小目标，论文对于WHU和Potsdam使用裁剪的方法，而对于原始分辨率比较低的MFNet则采用放大。四类融合指标EN、SD、SF、AG分别表示信息量、对比度、空间细节和边缘梯度；下游分割部分使用了mDice、mAcc、mIoU等方法来计算分割结果的Recall以及mAP@0.5。
语义分割部分中，ViFI在MFNet、WHU、Potsdam上分别取得了mIoU为38.97%，39.83%，58.58%。相应的mDice为51.81%，51.76%，72.28%。这是在各个方法融合图像的基础上按照相同的实验设置重新训练分割模型之后的比较，并不是对于同一个固定的分割器进行没有训练的直接替换。
目标检测部分中，在M³FD上用YOLOv5进行同样的设置重新训练。ViFI Recall 为 0.736，mAP@0.5 为 0.820；IRFI分别为0.725、0.806；而原始可见光图像为 0.687、0.767。这就说明，在论文中所设定的检测条件之下，双真实模态输出可以给目标感知带来一定的意义。
消融实验可以发现贡献来源。在 Table I 中加入 SPG 后，WHU 上的 ViFI 空间频率 SF 由 27.635 增加到 41.607，分割mIoU由原来的39.12%提高到了现在的39.83%；根据表III可知DIF比简单的Sum、Concat等融合方式要好。Table V 比较Baseline、CLIP-P、SPG和RFIR，在相应的消融配置中，加入RFIR后的ViFI的SF为39.207，Baseline 为 13.231，说明模态重建对于上述指标的提升，并不仅仅是因为场景提示所导致的。
主要思想：共享融合、模态特异重建。
总结与展望
RealFusion的核心价值就是把"融合信息尽可能多"的目标修改为更加全面的目标：**融合的信息要互相补充，输出的时候也要保证真实的模态不变，稳定的外观。**因此，论文并不是简单的从一张图变成两张图，而是在共享语义对齐、差异交互以及受方向限制的模态重建等多方面因素的支持下产生了两个不同的结果。
对于研究多模态融合的读者来说，本文工作给他们的启示有两个方面：第一中间表征可以共享，并不意味着最后呈现一定要混合；第二中间表征可以共享，并不意味着最后呈现一定要混合；二是对一个融合模型进行评价的时候，并不是只有EN、SF等图像指标可以考虑，在分割边界、目标检测以及各种场景下实际感知收益等方面也应予以重视。
END
往期推荐
