EPT-Net:用于3D医学图像分割的边缘感知转换器

EPT-Net: Edge Perception Transformer for 3D Medical Image Segmentation

  • EPT-Net:用于3D医学图像分割的边缘感知转换器
    • 背景
    • 贡献
    • 实验
    • 方法
      • [Dual Positional Transformer(双位置Transformer)](#Dual Positional Transformer(双位置Transformer))
        • [Learnable Patch Embedding](#Learnable Patch Embedding)
        • [Voxel Spacial Positional Embedding](#Voxel Spacial Positional Embedding)
      • [Edge Weight Guidance Module(边界权重引导模块)](#Edge Weight Guidance Module(边界权重引导模块))
        • [Shallow Guidance Module(浅层引导模块)](#Shallow Guidance Module(浅层引导模块))
        • [Weighted Attention Module(加权注意力模块)](#Weighted Attention Module(加权注意力模块))
    • 损失函数
    • Thinking

EPT-Net:用于3D医学图像分割的边缘感知转换器

IEEE TRANSACTIONS ON MEDICAL IMAGING, VOL. 42, NO. 11, NOVEMBER 2023

背景

卷积运算的内在局部性 在建模长程依赖性方面存在局限性。尽管为序列到序列全局预测而设计的Transformer就是为了解决这个问题而诞生的,但由于底层细节特征 不足,它可能会导致定位能力有限。此外,低级特征具有丰富的细粒度信息,这极大地影响了不同器官的边缘分割 决策。然而,一个简单的CNN模块很难捕捉细粒度特征中的边缘信息,并且在处理高分辨率3D特征时消耗的计算能力和内存是昂贵的。

本文提出了一种双位置变换器,以有效地提高三维空间定位能力。此外,由于低级别特征包含详细信息,我们在不添加网络参数的情况下,通过最小化边缘信息函数来执行边缘权重引导模块来提取边缘信息

贡献

  1. 提出了一种新的医学图像分割网络,称为EPT-Net,它混合了改进的Transformer和无参数注意机制,用于对器官特征的长期依赖性进行建模。
  2. 提出了一种双位置嵌入Transformer,包括可学习位置嵌入体素空间位置嵌入。该方法用于优化位置编码,可以有效地捕捉医学图像性不同器官位置之间的内在相关。
  3. 开发了一个边缘权重引导模块来学习浅层特征中的边缘信息,该模块可以捕捉相邻器官之间的微小粘连。这种设计是为了在不增加网络参数的情况下最小化边缘信息功能。
  4. 在三个数据集上验证了EPTNet的有效性和稳健性,包括SegTHOR 2019、颅骨拱顶外的多图谱标记和重新标记的KiTS19。实验表明,在这些数据集上,我们的方法优于最先进的方法。

实验

选择了三个数据集进行实验验证,其中包括两个公共数据集SegTHOR 2019 [17],颅骨(BCV)之外的多图谱标记[18]和重新标记的KiTS19数据集 [19],称为KiTS19-M。首先,介绍了SegTHOR 2019数据集,并专门用于在放疗期间分割肿瘤周围胸腔中的危险器官,包括心脏(hea)、气管(tra)、主动脉(aor)和食道(eso)。该数据集包括60个CT扫描,分为40个训练集和20个测试集。经验丰富的放射治疗师已经手动绘制了心脏、气管、主动脉和食道。接下来,MultiAtlas Labeling Beyond the Cranial Vault包含13个腹部器官的标签,包括脾脏(spl)、左右肾(L-K和R-K)、胆囊(gal)、食道(eso)、肝脏(liv)和胃(sto)、主动脉(aor)、下腔静脉(I-V-C)、门静脉和脾静脉(P-V/S-V)、胰腺(pan)、左右肾上腺(R-A-G和L-A-G),由两名经验丰富的大学生和放射科医生手工标记。使用MIPAV软件进行容量验证。该数据集包含30个标记的CT图像和20个测试图像。KiTS19-M数据集来自KiTS19数据集肾脏肿瘤分割竞赛。它包含300个样本,包括210个训练样本和90个测试样本。为了促进我们对多器官分割的研究,我们对数据集中的多个器官进行了重新标记。经过经验丰富的专家重新标记,我们对四个腹部器官进行了精细标记,包括肝、脾、右肾和左肾。

方法

U型网络结构在医学图像分割中取得了显著的成就。由于卷积运算的内在局部性和编码器-解码器的U型网络结构中缺乏全局上下文边缘信息处理,我们提出了EPT-Net。该网络主要基于U型网络,由双位置Transformer(DPT)和边缘权重引导(EWG)模块组成。DPT是在编码器末端提取深度信息,通过Transformer解决了U型网络的远程依赖 性限制。将浅层细粒度特征输入EWG以提取图像边缘信息。

Dual Positional Transformer(双位置Transformer)

Learnable Patch Embedding

利用异步卷积,确保相邻的补丁块在补丁序列化过程中具有特定的交互部分【An image is worth 16×16 words: Transformers for image recognition at scale】

Voxel Spacial Positional Embedding

对于医学三维体积数据,不仅需要考虑切片中像素之间的连接,还需要考虑不同切片之间的信息交互。提出了一种条件位置码生成器,并将其命名为体素空间位置嵌入(VSPE)。VSPE和可学习的位置嵌入为Transformer提供了更有用的位置信息。【Conditional positional encodings for vision transformers】

Edge Weight Guidance Module(边界权重引导模块)

ET-Net: A generic edge-attention guidance network for medical image segmentation

SimAM: A simple, parameterfree attention module for convolutional neural networks

https://github.com/ZjjConan/SimAM

Shallow Guidance Module(浅层引导模块)

SG为早期监督提供预测的边缘检测结果。

Weighted Attention Module(加权注意力模块)

WA和SG被组合以生成EA。WA可以对整个特征图进行优先排序,并且可以很容易地与三维卷积相结合。在每次卷积操作之后将WA模块插入SG模块可以产生更具代表性的边缘特征。在这里,完成了从浅层特征中提取边缘信息

损失函数

深度监督

Thinking

SG,WA没表达清楚???

相关推荐
字节卷动4 分钟前
【牛客刷题】活动安排
java·算法·牛客
rui锐rui30 分钟前
大数据学习6:Sqoop数据迁移工具
大数据·学习·sqoop
presenttttt35 分钟前
用Python和OpenCV从零搭建一个完整的双目视觉系统(四)
开发语言·python·opencv·计算机视觉
psybrain38 分钟前
脑科学圈| 利用眼动追踪评估演讲情境下焦虑障碍儿童的注视行为
学习·心理学·脑科学·课堂·焦虑·儿童青少年·眼动
yi.Ist40 分钟前
数据结构 —— 键值对 map
数据结构·算法
s1533543 分钟前
数据结构-顺序表-猜数字
数据结构·算法·leetcode
Coding小公仔1 小时前
LeetCode 8. 字符串转换整数 (atoi)
算法·leetcode·职场和发展
GEEK零零七1 小时前
Leetcode 393. UTF-8 编码验证
算法·leetcode·职场和发展·二进制运算
DoraBigHead2 小时前
小哆啦解题记——异位词界的社交网络
算法
序属秋秋秋2 小时前
《C++初阶之内存管理》【内存分布 + operator new/delete + 定位new】
开发语言·c++·笔记·学习