摘要
背景：
多模态融合技术可将多模态的医学图像融合到单模态的图像中，且单模态图像具有多种模态图像间的互补信息， 从而在单一图像中得到充足的便于临床诊断的信息。
贡献：
本文将多模态医学图像融合方法整理为两种，分别为传统融合方法和基于深度学习的融合方法。
0. 引言
图像融合是图像处理的子领域。
多模态医学图像：MRI、CT、PET、SPECT、US。
1. 传统融合方法
多尺度变换（MST）、稀疏表示（SR）、基于子空间、基于显著特征、混合模型
MST：
基于MST的方法包括多尺度分解、多尺度融合和多尺度重建等步骤。
- 具有多个特征的联合拉普拉斯金字塔方法
- 使用高斯滤波技术提高图像质量，然后使用离散小波变换增强融合图像的效果
- 从一组结合一系列稀疏系数的训练图像中学习到的过完整字典中生成融合图像
- 将已配准的医学图像按照块的几何方向划分为分类块
- 使用稀疏表示和邻域能量活动算子将源图像分为基础层和细节层
- 具有组稀疏性和图正则化的字典学习（DL-GSGR）
基于子空间：
主要包括主成分分析（PCA）、独立成分分析（ICA）和非负矩阵分解（NMF）。
- 将强度-色调-饱和度变换和主成分分析相结合
- 基于DWT和 ICA的图像融合新方法
混合模型：
- 基于两尺度图像分解和稀疏表示的多模态图像融合框架
- 双树复小波变换（DTCWT）和非下采样轮廓变换（NSCT）的混合融合策略对CT和MRI进行融合
传统方法通过手动设计融合规则来生成权重图， 将权重映射和融合策略结合进行融合，最后通过逆变换生成融合结果。
缺点：
- 设计的融合规则和分解方式复杂且费力；
- 应用场景多样化，融合效果也不太理想；
- 相同信息展示的效果差异性很大。
2. 基于深度学习融合方法
2.1 CNN
神经网络用于获取源图像的权重图。
- 基于CNN的通用图像融合框架（IFCNN）
- 基于NSCT和CNN的多模态医学图像融合方法
- 基于多目标差分进化和Xception模型的多模态生物医学融合模型
- 使用拉普拉斯滤波器和高斯滤波器将源图像分解，得到高频和低频图像
- 采用连体卷积网络 整合来自两种模态源图像的像素活动信息生成权重图
- 基于CNN和对比金字塔的融合算法
- 基于CNN无监督的增强医学图像融合网络
- 基于CNN重建的拉普拉斯金字塔和局部能量梯度的融合策略
- 实时图像融合方法
- 由特征提取器、融合器和重构器组成的多尺度残差金字塔注意网络（MSRPAN）
2.2 GAN
由于多模态医学图像的特征信息表示不一样，在融合的时候会出现领域差异的问题，通过GAN的对抗过程实现生成网络的特征自适应，增强融合的效果。
- 利用编码器-单解码器 框架的生成器提取图像特征
- 端到端的双鉴别器条件生成对抗网络（DDcGAN）
- 多生成器多鉴别器条件生成对抗网络（MGMDcGAN）
- 基于GAN 绿色荧光蛋白图像和相位对比图像融合框架
问题：
功能图像的像素强度远大于结构图像，纹理细节容易被功能信息掩盖，在对抗博弈过程中也会常常造成不平衡的结果等。
2.3 其他融合算法
基于自动编码（AE）和Transformer等融合框架同样在图像融合取得了不错的效果。
- 基于分离表示学习的图像融合框架（IF-SepR）
- 基于跨域远程学习和 win Transformer的新型通用图像融合框架（SwinFusion）
- 基于Transformer的多尺度融合策略（IFT），空间转换器（ST）融合策略
问题：Transformer框架需要大量数据集，医学数据获取并非易事。
3. 讨论
源图像都是未配准的，现有深度学习方法中沿空间像素位置的操作不适用于真实的源图像。
由于传感器原理的不同， 源图像的分辨率也会有所不同。
未来的研究方向将趋向于实时和动态图像的融合。
未来可以重点关注自适应融合算法，使图像融合过程能够根据特定的目标和条件进行调整和优化。
4. 总结
基于深度学习的多模态医学图像融合算法仍是主流方法。
最新的方法进展不但运用了深度学习模型，而且在特征提取阶段结合了传统方法以优化细节，提高融合质量。