[论文阅读] Revisiting Feature Propagation and Aggregation in Polyp Segmentation

[论文地址] [代码] [MICCAI 23]


Abstract

息肉的准确分割是筛查过程中有效诊断结直肠癌的关键步骤。 由于能够有效捕获多尺度上下文信息,普遍采用类似UNet 的编码器-解码器框架。 然而,两个主要限制阻碍了网络实现有效的特征传播和聚合。 首先,跳跃连接仅将单个尺度特征传输到解码器,这可能导致特征表示有限。 其次,特征在没有任何信息过滤器的情况下被传输,这对于在解码器处执行特征融合来说效率低下。 为了解决这些限制,我们提出了一种新颖的特征增强网络,它利用特征传播增强和特征聚合增强模块来实现更有效的特征融合和多尺度特征传播。 具体来说,特征传播增强模块将所有编码器提取的特征图从编码器传输到解码器,而特征聚合增强模块则与门机制进行特征融合,从而实现更有效的信息过滤。 多尺度特征聚合模块为解码器提供丰富的多尺度语义信息,进一步增强网络的性能。 对五个数据集的广泛评估证明了我们方法的有效性,特别是在 CVC-ColonDB 和 ETIS 等具有挑战性的数据集上,在 mIoU,mDice方面,它可以显着优于(3%)之前最先进的模型。


Introduction

现有息肉分割网络特征传播与聚合的效果还不够好。具体针对Skip Conntection操作而言:

  • Skip Conntection(通常)只在同一个尺度进行,例如,直接将Encoder Block3的特征传到Decoder Block3,没有进行多尺度处理
  • Skip Conntection没有进行过滤(Attention操作),可能会带来噪声

针对以上两个问题,本文在U-Net的框架上进行了改进,对Skip Conntection过程进行了优化,如下所示:

具体来说,引入了一个FPE(Feature Propagation Enhancement)模块,其在Skip Conntection过程引入了多尺度的信息(Aggregation)以及特征增强(Enhancement)。此外,U-Net原有的解码器块也替换成了本文所提出的FAE(Feature Aggregation Enhancement)模块。


Network

FPE & FAE & MSA
相关推荐
DuHz8 小时前
无线通信与雷达感知融合的波形设计与信号处理——论文阅读(上)
论文阅读·信号处理
DuHz8 小时前
无线通信与雷达感知融合的波形设计与信号处理——论文阅读(下)
论文阅读·汽车·信息与通信·信号处理
张较瘦_2 天前
[论文阅读] AI + 软件工程 | LLM救场Serverless开发!SlsReuse框架让函数复用率飙升至91%,还快了44%
论文阅读·人工智能·软件工程
m0_650108242 天前
InstructBLIP:面向通用视觉语言模型的指令微调技术解析
论文阅读·人工智能·q-former·指令微调的视觉语言大模型·零样本跨任务泛化·通用视觉语言模型
做cv的小昊2 天前
VLM经典论文阅读:【综述】An Introduction to Vision-Language Modeling
论文阅读·人工智能·计算机视觉·语言模型·自然语言处理·bert·transformer
m0_650108243 天前
PaLM-E:具身智能的多模态语言模型新范式
论文阅读·人工智能·机器人·具身智能·多模态大语言模型·palm-e·大模型驱动
m0_650108243 天前
PaLM:Pathways 驱动的大规模语言模型 scaling 实践
论文阅读·人工智能·palm·谷歌大模型·大规模语言模型·全面评估与行为分析·scaling效应
小殊小殊4 天前
【论文笔记】视频RAG-Vgent:基于图结构的视频检索推理框架
论文阅读·人工智能·深度学习
有点不太正常4 天前
《ShadowCoT: Cognitive Hijacking for Stealthy Reasoning Backdoors in LLMs》——论文阅读
论文阅读·大模型·agent安全
小殊小殊4 天前
【论文笔记】大型语言模型的知识蒸馏与数据集蒸馏
论文阅读·人工智能·深度学习