基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变

Automatic ischemic stroke lesion segmentation from computed tomography perfusion images by image synthesis and attention-based deep neural networks

基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变
- 背景
- 贡献
- 实验
- - [Comparison of different loss functions for pseudo DWI synthesis（伪DWI合成中不同损失函数的比较）](#Comparison of different loss functions for pseudo DWI synthesis（伪DWI合成中不同损失函数的比较）)
  - [Effect of feature extractor on pseudo DWI synthesis（特征提取器对伪DWI合成的影响）](#Effect of feature extractor on pseudo DWI synthesis（特征提取器对伪DWI合成的影响）)
  - 对比试验
  - [Comparison of different training loss functions for segmentation（分割损失函数对比）](#Comparison of different training loss functions for segmentation（分割损失函数对比）)
  - 特征提取器和伪DWI生成器对分割的影响（合成分割联合训练的对比）
- 方法
- - [Feature extraction from raw spatiotemporal CTA images](#Feature extraction from raw spatiotemporal CTA images)
  - [Pseudo DWI synthesis from CTP images](#Pseudo DWI synthesis from CTP images)
  - [SLNet: stroke lesion segmentation network with switchable normalization and channel calibration（SLNet：具有可SN和通道校准的脑卒中病变分割网络）](#SLNet: stroke lesion segmentation network with switchable normalization and channel calibration（SLNet：具有可SN和通道校准的脑卒中病变分割网络）)
- Thinking

基于图像合成和注意力的深度神经网络从计算机断层扫描灌注图像中自动分割缺血性脑卒中病变

Medical Image Analysis 65 (2020) 101787

背景

从计算机断层扫描灌注（CTP ）图像中分割缺血性脑卒中病变 对于急性护理病房中准确诊断脑卒中非常重要。然而，除了病变的复杂外观 外，它还受到灌注参数图的低图像对比度和分辨率 的挑战。为了解决这个问题，我们提出了一种基于CTP合成伪扩散加权成像（DWI）的新框架，以获得更好的图像质量，实现更准确的分割。我们的框架由基于卷积神经网络（CNNs）的三个组件组成，并进行端到端训练。首先，使用特征提取器来获得原始时空计算机断层扫描血管造影（CTA）图像的低级别和高级别紧凑表示。其次，伪DWI生成器将CTP灌注参数图和我们提取的特征的级联作为输入，以获得合成的伪DWI 。为了获得更好的合成质量，我们提出了一种混合损失函数 ，该函数更加关注病变区域，并鼓励高水平的上下文一致性。最后，我们从合成的伪DWI中分割病变区域，其中分割网络基于可切换的归一化和通道校准，以获得更好的性能。实验结果表明，我们的框架在ISLES 2018挑战中获得了最高的性能，并且：（1）我们使用合成伪DWI的方法优于直接从灌注参数图中分割病变的方法；（2）利用额外的时空CTA图像的特征提取器导致更好的合成伪DWI质量和更高的分割精度；以及（3）所提出的损失函数和网络结构提高了伪DWI合成和病变分割的性能。所提出的框架有可能改善缺血性中风的诊断和治疗，因为真正的DWI扫描有限。

贡献

首先，我们提出了一种新的基于合成伪DWI的CTP图像缺血性脑卒中病变自动分割框架 。与仅使用CTP灌注参数图相比，我们的框架还利用了原始时空CTA图像，以获得更高的伪DWI合成质量和病变分割精度。
其次，为了更有效地利用原始时空CTA图像，我们提出了一种特征提取器，可以自动获得更紧凑、更高级的CTA图像表示，这有助于减少所需的内存和计算时间，并提高我们的分割方法的性能。
第三，我们提出了一种新的方法来合成缺血性脑卒中病变的伪DWI图像。我们使用高级相似性损失函数 来鼓励伪DWI在局部细节和全局上下文方面接近基本事实，并提出了一种注意力引导的合成策略 ，以便生成器将更多地关注病变部分，这有利于最终分割。
最后，为了从我们合成的伪DWI中分割病变，我们提出了一种适用于小训练批量的具有通道校准 和可切换归一化 （SN）的卷积神经网络（CNN）（Luo et al.，2018），并将其与一种新的基于注意力 和硬度感知的损失函数相结合，该函数有助于获得缺血性中风病变的更准确分割。实验结果表明，我们的方法在ISLES 2018挑战中获得了最先进的性能，并且它优于CTP灌注参数图的直接分割和CTP图像中基于现代图像合成的缺血性脑卒中病变分割方法（Liu，2018）。

实验

Comparison of different loss functions for pseudo DWI synthesis（伪DWI合成中不同损失函数的比较）

合成损失函数的对比，w-L2 + Lh1更有利于分割，w-L2更有利于合成

Effect of feature extractor on pseudo DWI synthesis（特征提取器对伪DWI合成的影响）

拼接各个图用于合成、分割的消融，Real DWI 最高，使用Fl,Fh,Fo合成分割由于只用Fo

对比试验

SN代替BN涨了1.4个点，SE注意力机制涨了1个点，相比于ResUnet提升了2个点

Comparison of different training loss functions for segmentation（分割损失函数对比）

Lwce比Lce涨了1.5个点，可见得到的加权注意力图是有效的

特征提取器和伪DWI生成器对分割的影响（合成分割联合训练的对比）

单模态分割56.10，本文方法62.23，Real Flair 79.72，相比于单模态涨了7个点，相比于Real Flair查了17个点

方法

首先，为了有效地处理大的原始时空CTA图像 并降低计算要求，我们设计了一个高级特征提取器，该提取器使用CNN来获得原始时空CTA图像的密集特征。

此外，我们利用CTA图像的时间最大强度投影（MIP）作为低级特征。然后，将这些特征与灌注参数图连接起来，作为伪DWI生成器的输入 ，该生成器获得病变和背景之间具有更好对比度的伪DWI图像。为了提高病变区域附近的合成质量，我们使用了基于高水平相似性的损失函数 ，使生成器能够更加关注病变 。

最后，分割器将伪DWI图像作为输入 ，并产生缺血性中风病变的分割，其中提出了使用基于注意力和强感知损失函数 训练的通道校准 和可切换归一化的CNN来提高性能。这三个组成部分是端到端训练的。

Feature extraction from raw spatiotemporal CTA images

使用UNet提取Spatiotemporal CTA的特征

Pseudo DWI synthesis from CTP images

Ig是生成的输出，Id是标签，L2损失（low-level weighted pixel-wise loss） + L1损失（high-level contextual loss），L2范数用于像素级损失，使得最小化L2范数对应于最大化PSNR。另一方面，由于L1范数平等地对待每个元素，而L2范数为可能由异常值引起的较大预测误差分配更高的权重（即，通过平方），因此L1范数比L2范数具有更高的鲁棒性（Ghosh等人，2017）。因此，我们使用L1范数来表示高级上下文损失

将低级特征转化为高级特征的编码器结构，Lh是通过这个编码器转化为高级特征之后再算L1损失

通过这个公式获取病变权重图，给合成加权，让合成更关注病变区域

最终目标是分割缺血性中风病变，因此病变区域周围需要良好的合成质量 。因此，我们使用体素权重图A来使生成器更多地关注病变区域，而较少关注背景。设F表示病变前景体素的集合，Eud（i，F）表示体素i和F之间的最短欧几里得距离。我们使用Ai来表示权重图A中体素i的权重：

SLNet: stroke lesion segmentation network with switchable normalization and channel calibration（SLNet：具有可SN和通道校准的脑卒中病变分割网络）

在UNet的编码器模块加入了SE注意力机制，把BN换成SN，batchsize小的时候SN更优

由于特征图中的不同通道可能具有不同的重要性 ，我们使用基于通道注意力的挤压和激励（SE）块（Hu et al.，2018）来校准通道特征响应 。SE块通过学习每个通道的注意力权重来显式地对通道间依赖性进行建模，使得网络更多地依赖于最重要的通道进行分割

分割损失函数

Thinking

注意力系数图可以借鉴，损失函数可以借鉴。SN和SE注意力机制改进的UNet略显老套，不过这不是本文的重点。