Hi-Net: Hybrid-Fusion Network for Multi-Modal MR Image Synthesis
Hi-Net：用于多模态MR图像合成的混合融合网络
IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 39, NO. 9, SEPTEMBER 2020
背景
磁共振成像（MRI）是一种广泛使用的神经成像技术，可以提供不同对比度（即模态）的图像 。事实证明，在许多任务中，融合这些多模态数据 对于提高模型性能特别有效。然而，由于数据质量差和患者频繁辍学，为每位患者收集所有模式仍然是一项挑战。医学图像合成 已被提出作为一种有效的解决方案，其中任何缺失的模态都是从现有模态合成的。
贡献
首先学习特定于模态的网络，以从每个单独的 模态捕获信息。该网络被形成为自动编码器，以有效地学习高级特征 表示。然后，提出了一种融合网络来利用多种模态之间的相关性 。我们还提出了一种分层多模态融合策略 ，该策略可以有效地利用不同特征层之间的相关性。此外，还提出了一种MFB来自适应地加权不同的融合策略（即元素求和、乘积和最大化）。最后，我们的Hi-Net将模态特定网络和融合网络相结合，以学习各种模态的潜在表示，并用于生成目标图像
- 主要贡献如下与大多数现有的单模态合成方法不同，提出了一种新的医学图像合成框架，该框架使用多个模态来合成目标模态图像。
- 通过特定模态网络捕获单个模态特征，并使用分层多模态融合策略利用多模态之间的相关性，有效地集成多模态多级表示。
- 提出了一种新的MFB模块，对不同的融合策略进行自适应加权，有效地提高了融合性能。本文的其余部分组织如下。我们在第二节介绍相关工作。然后，我们在第三节中描述了我们用于医学图像合成的Hi-Net的框架。我们在第四节中进一步介绍了实验结果和讨论
实验
数据集：BraTs2018 ，裁剪到160x180，还评估了在缺血性中风病变分割挑战2015 （ISLES2015）数据集上使用T1和Flair图像合成T2模态图像的性能49
消融实验：
(1) We use the "ConcateFusion " strategy both in the fusion network and generator network , denoted as "Oursdegraded1";
(2) We use MFB modules in the fusion network and the "ConcateFusion" in the generator network, denoted as "Ours-degraded2";
(3) We use the "ConcateFusion" in the fusion network and MFB modules in the generator network, denoted as "Ours-degraded3"
方法
the modality-specific network（模态特定网络）
在多模态学习中，来自多模态的互补信息 和相关性 有望提高学习成绩。因此，至关重要的是要利用多种模态之间的潜在相关性 ，同时还要捕获模态特定信息以保留其属性。为了实现这一目标，我们首先为每个单独的模态（例如，xi）构建一个模态特定网络
multi-modal fusion network
在多模态融合任务中，流行的策略包括逐元素求和、逐元素乘积和逐元素最大化。然而，目前还不清楚哪一种最适合不同的任务 。因此，为了从每种策略的优势中获益 ，我们同时使用所有三种融合策略，然后将它们连接起来。然后，添加卷积层以自适应地对三个融合进行加权
可以使用低级和高级特征来利用多个模态之间的相关性
multi-modal synthesis network
判别器模型
损失函数
重建损失：
对抗损失：
总损失：
Thinking
提取多个模态的特征，合成某一缺失模态，效果好于单模态生成缺失模态
MFB融合，自适应调整逐元素加、逐元素乘、最大之间的融合效果
实验充分，消融实验丰富，单纯拼接、MFF融合、早期融合、后期融合