BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络

BEA-Net: Body and Edge Aware Network With Multi-Scale Short-Term Concatenation for Medical Image Segmentation

  • [BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络](#BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络)
    • 背景
    • 贡献
    • 实验
    • 方法
      • [Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器)](#Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器))
      • [Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器)](#Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器))
      • [Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器)](#Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器))
    • 损失函数
    • Thinking

BEA-Net:用于医学图像分割的具有多尺度短期连接的Body and Edge感知网络

4828 IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, VOL. 27, NO. 10, OCTOBER 2023

背景

医学图像分割对于许多疾病的诊断和预后是必不可少的。为了提高分割性能 ,本研究提出了一种新的具有多尺度短期级联的二维主体和边缘感知 网络,用于医学图像分割。提出了将具有不同感受野的连续卷积层连接起来的多尺度短期连接模块,用于捕获具有较少参数的多尺度表示。提出了基于加权图计算通过扩大感受野进行特征调整的主体生成模块 ,以及使用Sobel核 进行边缘检测的多尺度卷积的边缘生成模块 ,以分别从解码器中的卷积特征中学习身体和边缘特征,使所提出的网络具有身体和边缘感知能力。基于本体和边缘模块,我们设计了并行的本体和边缘解码器,其输出被融合以实现最终的分割。此外,还应用了本体和边缘解码器的深度监督,以确保生成的本体和边缘特征的有效性,并进一步改进最终分割。在六个公共医学图像分割数据集上对所提出的方法进行了训练和评估,以证明其有效性和通用性。实验结果表明,在所有使用的数据集上,该方法的平均Dice相似系数和95%的Hausdorff距离都优于几个基准。消融研究验证了所提出的多尺度表示学习模块、身体和边缘生成模块以及深度监督的有效性。

贡献

1) 与之前的大多数方法(如[9]、[11]、[16])需要额外的网络参数 来捕获多尺度特征 不同,我们提出了多尺度短期级联模块,该模块可以用比常用卷积层更少的参数来学习多尺度特征

2) 与之前大多数只考虑身体或边缘信息的方法不同,如[28]、[39]、[40],我们设计了并行的身体和边缘解码器 ,以充分利用身体和边缘信息进行分割;

3) 与[33]、[34]等以前的大多数方法不同,这些方法只使用损失来利用主体和边缘信息,或者不设计独立的模块来提取边缘特征,如[25],在本研究中,除了使用主体和边缘监督损失,我们设计了相互独立的身体生成模块边缘生成模块 ,分别学习更有效的 身体和边缘特征;

4) 在六个不同的医学图像分割数据集上对所提出的BEA-Net进行了评估,以证明其有效性和通用性。结果表明,与现有的几种方法相比,该方法可以以较低的计算复杂度获得最佳的分割性能。

实验

数据集:ISIC2018、JSRT、IDRiD、BUSI、CVC-ClinicDB、Kvasir-SEG

消融实验:

  • 各个模块、两个分支的消融
  • 深度监督的消融
  • MSSTC模块位置的消融
  • MSSTC kernel_size以及输出通道数的消融
  • 边缘分支放在编码器还是解码器的消融
  • 下采样率消融

方法

Shared Encoder With MSSTC Modules(带有MSSTC模块的共享编码器)

为了用多尺度信息更少的网络参数 生成更有效的高层特征,在每个深层应用了上述两个MSSTC模块

MSSTC模块,它可以用来代替常用的3×3卷积层,以学习多尺度 特征,同时减少网络参数

Body Decoder With Body Generation Modules (带Body Generation模块的Body解码器)

通常,body部位是可以使用大的感受野来捕获的低空间频率分量。此外,如果不同分辨率特征图中某个位置的特征都是显著的 ,则可以认为该位置的信息变化不大,是低空间频率信息。因此,这个位置更有可能是身体。以上这些假设启发了我们BG模块的设计。因此,我们首先通过步长为2和4的3×3卷积运算,将原始输入特征下采样为两个不同的低分辨率特征,以实现用于捕获粗略身体特征的大RF。然后,为了生成可用于详细说明身体特征生成的原始特征的身体位置权重图,我们提出了一种基于不同分辨率卷积特征的身体定位权重块。

提出了一种基于不同分辨率 卷积特征的body定位权重块。在该块中,通过双线性插值将两个下采样的特征上采样到原始分辨率,并将原始特征和两个上采样的特征连接起来

Edge Decoder With Edge Generation Modules(带边缘生成模块的边缘解码器)

三个Sobel卷积层,步长分别为1、2和4。使用不同的步长来实现多尺度边缘信息

损失函数




Thinking

主体框架是一个编码器,主体解码器和边界解码器。

MSSTC模块:在不增加参数量的情况下捕获多尺度特征,替代编码器的Conv2d

body generation module:主体特征提取模块,不同尺度特征加权融合

edge generation module:边缘特征提取模块,不同stride的sobel卷积,提取多尺度边缘特征拼接融合

对主体、边界、整个roi区域进行监督

主体部分 = 整个roi - canny(边界)

边界分支提升了 0.6%

实验丰富,数据集多,消融实验多

相关推荐
-Nemophilist-1 分钟前
机器学习与深度学习-1-线性回归从零开始实现
深度学习·机器学习·线性回归
方方怪22 分钟前
与IP网络规划相关的知识点
服务器·网络·tcp/ip
weixin_442643421 小时前
推荐FileLink数据跨网摆渡系统 — 安全、高效的数据传输解决方案
服务器·网络·安全·filelink数据摆渡系统
阑梦清川2 小时前
JavaEE初阶---网络原理(五)---HTTP协议
网络·http·java-ee
FeelTouch Labs2 小时前
Netty实现WebSocket Server是否开启压缩深度分析
网络·websocket·网络协议
蒙娜丽宁3 小时前
《Python OpenCV从菜鸟到高手》——零基础进阶,开启图像处理与计算机视觉的大门!
python·opencv·计算机视觉
好喜欢吃红柚子3 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
羊小猪~~4 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨4 小时前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
软工菜鸡4 小时前
预训练语言模型BERT——PaddleNLP中的预训练模型
大数据·人工智能·深度学习·算法·语言模型·自然语言处理·bert