3D CGAN BASED CROSS-MODALITY MR IMAGE SYNTHESIS FOR BRAIN TUMOR SEGMENTATION
基于3D-CGAN的跨模态MR脑肿瘤分割图像合成
2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018)
背景
脑肿瘤的分割需要多种模态影像的共同作用。不同模态的影像可以从不同角度表示肿瘤的组织变化，将它们协同考虑 有利于脑肿瘤的分割。同时，考虑到获取多模态图像的成本 ，研究从T1合成Flair图像是否有助于从T1的单一模态改进脑肿瘤分割，通过设计用于Flair图像合成的3D cGan和局部自适应融合，更好地描述合成Flair图像的细节。这种方法可以有效地处理不同样本在外观、大小和位置上不同的脑肿瘤的分割任务。
贡献
- 由于现有的2D cGan引起的跨切片不连续 问题，提出3D cGan ，通过考虑上下文信息更好地合成Flair图像。
- 为了进一步改进合成的Flair图像用于分割任务，提出一种局部自适应合成 方法，更好地描述合成的Flair图像的局部细节。
- 通过训练联合考虑多种成像的CNN，利用合成的Flair图像 来辅助从单个T1模态进行脑肿瘤分割
实验
3DcGan + 局部自适应融合，合成的图像+T1图像通过双通道3D CNN分割 模型进行处理，分割脑肿瘤
最终目标，合成Flair图像以提高脑肿瘤的分割精度，与那些专注于提高PSNR的合成方法相比，对输出图像的质量提出了更高的要求。
冠状面、矢状面的伪影表示在3D切片上合成效果不连续
IV、V表示使用级联的3D cGan无法进一步提升效果，但3D cGan整体精度优于2D cGan
方法
Subject-specific local adaptive fusion（针对特定主题的局部自适应融合）
对于仅具有T1-MR图像的测试对象，我们将其类FLAIR图像 从我们的3D c-GAN划分为不重叠的小块（16x16x16），并通过训练块Str，GAN 1，Str，gan2...的凸组合来近似每个块Ste，GAN。。。，Str、gan、Ntr（Ntr表示训练对象的数量）。这是通过解决以下优化问题来实现的：
人话：把原始影像分成16x16x16的patch给每个patch分配不同的权重
线性组合比局部非线性映射给出更好的结果。尽管这种凸组合会产生一些影响合成图像外观的伪影，但它被证明是改进分割的有效策略，而分割是我们的最终目标。
Brain tumor segmentation model
使用这篇论文的框架 [Efficient multi-scale 3d cnn with fully connected crf for accurate brain lesion segmentation]，上述分割模型采用两个输入通道：T1和FLAIR。我们分两步训练模型。在第一步中，训练样本的T1和真实FLAIR图像以正常的方式用于训练。然后，在第二步中，使用T1和我们合成的训练样本的FLAIR图像进一步微调 该模型。微调是至关重要的，因为对于给定的测试样本，用于分割的是合成的FLAIR图像，而不是真实的未知FLAIR图像。
损失函数
Thinking
3D cGan训练合成网络，先训练T1合成Flair，再利用T1和Flair进行分割，测试时只需要输入T1数据，无Flair数据。