图像融合论文阅读：MURF: Mutually Reinforcing Multi-Modal Image Registration and Fusion

@article{xu2023murf,

title={MURF: Mutually Reinforcing Multi-modal Image Registration and Fusion},

author={Xu, Han and Yuan, Jiteng and Ma, Jiayi},

journal={IEEE Transactions on Pattern Analysis and Machine Intelligence},

year={2023},

publisher={IEEE}

}

论文级别：SCI A1

影响因子：23.6

📖[论文下载地址]

🌻【如侵权请私信我删除】

📖论文解读

马佳义大佬团队2023年的一篇论文。该论文之前的版本是RFNet。下图为两个版本的区别和改进

MURF主要利用三个模块：

SIEM 共享特征提取（shared information extraction module）

捕获跨多个模式共享的信息。它有助于将多模态配准问题转化为公共空间中的单模态配准问题。然后在配准模块中使用提取函数。

MCRM 多尺度粗配准（multi-scale coarse registration module）

进行全局校正。利用SIEM提取的表示建立配准约束，并将其用于MCRM网络的训练。MCRM输出粗配准后的图像 I x R I_x^R IxR。

F2M 精准配准和融合（fine registration and fusion module）

将 I x R I_x^R IxR和 I y I_y Iy作为输入，得到最终的融合图像 I f I_f If

🔑关键词

Multi-modal images, image registration, image fusion, contrastive learning.

多模态图像，图像配准，图像融合，对比学习

💭核心思想

如下图所示，以往的方法是将配准和融合分开，作者提出的新方法是将两者结合并相互促进。

图像配准采用由粗到细的方法进行处理。对于粗配准，SIEM首先将多模态图像转化为单模态信息，以消除模态间差异。在此基础上，MCRM通过多尺度仿射变换对全局刚性视差进行逐步校正。在单个模块中实现精细配准和融合，进一步提高了配准精度和融合性能。图像融合时在保留源信息的同时进行了纹理增强。

作者认为【图像融合可以反向消除未配准】，因为：

融合图像来源于不同模态，减轻了模态差异，降低了配准难度
融合过程去除了冗余信息，减少了这些信息对配准的负面影响
梯度稀疏可以作为融合评价标准，以反馈的方式提高配准精度

参考链接
[什么是图像融合？（一看就通，通俗易懂）]

🪢网络结构

作者提出的网络结构如下所示。

该网络模型由SIEM, MCRM和F2M组成。上节已经简单介绍了各个模块的作用。接下来让我们看模块内部在干嘛

🪢SIEM

采用了【对比学习】的思想。相同场景的图像对应于较近的表示，而不同场景的图像对应于较远的表示。

扩展学习链接
对比学习（contrastive learning）

多模态数据集包括了配准/粗配准的图像对 { I x i , I y i } i = 1 K \{I_x^i,I_y^i\}_{i=1}^K {Ixi,Iyi}i=1K，K表示图像对的数量。
I x I_x Ix和 I y I_y Iy分别表示不同模态 X \mathcal X X和 Y \mathcal Y Y的图像。

这个模块的目标是学习两个函数 f θ 1 c l ( ⋅ ) f_{\theta1}^{cl}(·) fθ1cl(⋅)和 f θ 2 c l ( ⋅ ) f_{\theta2}^{cl}(·) fθ2cl(⋅)，将不同模态的图像映射到共享潜在空间，从而提取其潜在表示 z x i = f θ 1 c l ( I x i ) z_x^i=f_{\theta1}^{cl}(I_x^i) zxi=fθ1cl(Ixi)和 z y i = f θ 2 c l ( I y i ) z_y^i=f_{\theta2}^{cl}(I_y^i) zyi=fθ2cl(Iyi)
{ I x i , I y i } \{I_x^i,I_y^i\} {Ixi,Iyi}表示相同场景的图像对，因此 { z x i , z y i } \{z_x^i,z_y^i\} {zxi,zyi}是正对（positive pairs），应该被拉入潜在空间。
{ I x i , I y j ( i ≠ j ) } \{I_x^i,I_y^{j(i \neq j)}\} {Ixi,Iyj(i=j)}或者 { I x i , I x j ( i ≠ j ) } \{I_x^i,I_x^{j(i \neq j)}\} {Ixi,Ixj(i=j)}表示多模态或者不同场景的单模态图像，是负对，应该被分离。

用来学习 f θ 1 c l ( ⋅ ) f_{\theta1}^{cl}(·) fθ1cl(⋅)和 f θ 2 c l ( ⋅ ) f_{\theta2}^{cl}(·) fθ2cl(⋅)对比学习的损失函数被定义为InfoNCE损失：

s ( ⋅ ) s(·) s(⋅)是鉴别器函数，正对值高负对值低。

同时，作者利用旋转等价来细化潜表示的精细度。即对 f θ 1 c l ( ⋅ ) f_{\theta1}^{cl}(·) fθ1cl(⋅)和 f θ 2 c l ( ⋅ ) f_{\theta2}^{cl}(·) fθ2cl(⋅)进行像素级旋转和反向旋转。

🪢MCRM

在训练阶段，使用上一节训练好的 f θ 1 c l ( ⋅ ) f_{\theta1}^{cl}(·) fθ1cl(⋅)和 f θ 2 c l ( ⋅ ) f_{\theta2}^{cl}(·) fθ2cl(⋅)提取 I x I_x Ix和 I y I_y Iy的共享信息 z x z_x zx和 z y z_y zy，然后利用仿射变换（affine transform）提高 z x z_x zx和 z y z_y zy之间的配准度。注意，训练阶段SIEM里参数是固定的。在测试阶段，只有MCRM用于粗配准。

在单尺度的网络中，使用大的卷积核和较深的网络结构是常态，为了解决这个问题，作者采用了一种多尺度渐进式配准策略减少参数量、加快收敛速度。

这个图应该从下往上看，即一开始训练AffineNet是下采样4倍的时候，然后在下采样2倍的时候继续，使用下采样4倍的参数作为粗空间变换。同理，到原尺寸的时候，使用4倍和2倍的参数作为粗空间变换，得到最精细的参数p1。即输出为粗配准的图像 I x R = S T ( I x , p 1 P ↓ 2 P ↓ 4 ) I_x^R=ST(I_x,p_1P_{↓2}P_{↓4}) IxR=ST(Ix,p1P↓2P↓4)

那么空间变换是什么样子的呢?

给定一个图像X和仿射参数p，在常规采样网格上使用p，生成一个H×W×2的形变场 ϕ \phi ϕ，代表了X中像素的变形。形变场 ϕ \phi ϕ的两个通道分别代表垂直方向和水平方向：