BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络

BEA-Net: Body and Edge Aware Network With Multi-Scale Short-Term Concatenation for Medical Image Segmentation

  • [BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络](#BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络)
    • 背景
    • 贡献
    • 实验
    • 方法
      • [Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器)](#Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器))
      • [Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器)](#Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器))
      • [Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器)](#Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器))
    • 损失函数
    • Thinking

BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络

4828 IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 27, NO. 10, OCTOBER 2023

背景

医学图像分割对于许多疾病的诊断和预后是必不可少的。为了提高分割性能 ,本研究提出了一种新的具有多尺度短期级联的二维主体和边缘感知 网络,用于医学图像分割。提出了将具有不同感受野的连续卷积层连接起来的多尺度短期连接模块,用于捕获具有较少参数的多尺度表示。提出了基于加权图计算通过扩大感受野进行特征调整的主体生成模块 ,以及使用Sobel核 进行边缘检测的多尺度卷积的边缘生成模块 ,以分别从解码器中的卷积特征中学习身体和边缘特征,使所提出的网络具有身体和边缘感知能力。基于本体和边缘模块,我们设计了并行的本体和边缘解码器,其输出被融合以实现最终的分割。此外,还应用了本体和边缘解码器的深度监督,以确保生成的本体和边缘特征的有效性,并进一步改进最终分割。在六个公共医学图像分割数据集上对所提出的方法进行了训练和评估,以证明其有效性和通用性。实验结果表明,在所有使用的数据集上,该方法的平均Dice相似系数和95%的Hausdorff距离都优于几个基准。消融研究验证了所提出的多尺度表示学习模块、身体和边缘生成模块以及深度监督的有效性。

贡献

1) 与之前的大多数方法(如[9]、[11]、[16])需要额外的网络参数 来捕获多尺度特征 不同,我们提出了多尺度短期级联模块,该模块可以用比常用卷积层更少的参数来学习多尺度特征

2) 与之前大多数只考虑身体或边缘信息的方法不同,如[28]、[39]、[40],我们设计了并行的身体和边缘解码器 ,以充分利用身体和边缘信息进行分割;

3) 与[33]、[34]等以前的大多数方法不同,这些方法只使用损失来利用主体和边缘信息,或者不设计独立的模块来提取边缘特征,如[25],在本研究中,除了使用主体和边缘监督损失,我们设计了相互独立的身体生成模块边缘生成模块 ,分别学习更有效的 身体和边缘特征;

4) 在六个不同的医学图像分割数据集上对所提出的BEA-Net进行了评估,以证明其有效性和通用性。结果表明,与现有的几种方法相比,该方法可以以较低的计算复杂度获得最佳的分割性能。

实验

数据集:ISIC2018、JSRT、IDRiD、BUSI、CVC-ClinicDB、Kvasir-SEG

消融实验:

  • 各个模块、两个分支的消融
  • 深度监督的消融
  • MSSTC模块位置的消融
  • MSSTC kernel_size以及输出通道数的消融
  • 边缘分支放在编码器还是解码器的消融
  • 下采样率消融

方法

Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器)

为了用多尺度信息更少的网络参数 生成更有效的高层特征,在每个深层应用了上述两个MSSTC模块

MSSTC模块,它可以用来代替常用的3×3卷积层,以学习多尺度 特征,同时减少网络参数

Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器)

通常,body部位是可以使用大的感受野来捕获的低空间频率分量。此外,如果不同分辨率特征图中某个位置的特征都是显著的 ,则可以认为该位置的信息变化不大,是低空间频率信息。因此,这个位置更有可能是身体。以上这些假设启发了我们BG模块的设计。因此,我们首先通过步长为2和4的3×3卷积运算,将原始输入特征下采样为两个不同的低分辨率特征,以实现用于捕获粗略身体特征的大RF。然后,为了生成可用于详细说明身体特征生成的原始特征的身体位置权重图,我们提出了一种基于不同分辨率卷积特征的身体定位权重块。

提出了一种基于不同分辨率 卷积特征的body定位权重块。在该块中,通过双线性插值将两个下采样的特征上采样到原始分辨率,并将原始特征和两个上采样的特征连接起来

Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器)

三个Sobel卷积层,步长分别为1、2和4。使用不同的步长来实现多尺度边缘信息

损失函数




Thinking

主体框架是一个编码器,主体解码器和边界解码器。

MSSTC模块:在不增加参数量的情况下捕获多尺度特征,替代编码器的Conv2d

body generation module:主体特征提取模块,不同尺度特征加权融合

edge generation module:边缘特征提取模块,不同stride的sobel卷积,提取多尺度边缘特征拼接融合

对主体、边界、整个roi区域进行监督

主体部分 = 整个roi - canny(边界)

边界分支提升了 0.6%

实验丰富,数据集多,消融实验多

相关推荐
Estar.Lee19 分钟前
时间操作[计算时间差]免费API接口教程
android·网络·后端·网络协议·tcp/ip
余炜yw33 分钟前
【LSTM实战】跨越千年,赋诗成文:用LSTM重现唐诗的韵律与情感
人工智能·rnn·深度学习
友友马1 小时前
『 Linux 』网络层 - IP协议(一)
linux·网络·tcp/ip
莫叫石榴姐1 小时前
数据科学与SQL:组距分组分析 | 区间分布问题
大数据·人工智能·sql·深度学习·算法·机器学习·数据挖掘
96771 小时前
对抗样本存在的原因
深度学习
YRr YRr1 小时前
深度学习:神经网络中的损失函数的使用
人工智能·深度学习·神经网络
静静的喝酒2 小时前
深度学习笔记之BERT(二)BERT精简变体:ALBERT
深度学习·bert·albert
码老白2 小时前
【老白学 Java】Warshipv2.0(二)
java·网络
麦麦大数据2 小时前
Python棉花病虫害图谱系统CNN识别+AI问答知识neo4j vue+flask深度学习神经网络可视化
人工智能·python·深度学习
HackKong2 小时前
小白怎样入门网络安全?
网络·学习·安全·web安全·网络安全·黑客