论文阅读FCN-Transformer Feature Fusion for PolypSegmentation

本文提出了一种名为Fully Convolutional Branch-TransFormer (FCBFormer)的图像分割框架。该架构旨在结合Transformer和全卷积网络(FCN)的优势,以提高结肠镜图像中息肉的检测和分类准确性。

1,框架结构:

模型采用双分支结构,两个并行分支:一个全卷积分支(FCB)和一个Transformer分支(TB)。FCB返回全尺寸(h×w)特征图,而TB返回降尺寸(h/4 × w/4)的特征图。TB的输出张量经过上采样并与FCB的输出张量在通道维度上进行拼接,然后通过预测头(PH)处理,生成输入图像的全尺寸分割图。

2,TB分支的结构

TB使用ImageNet预训练的金字塔视觉Transformer V2(PVTv2)作为图像编码器,该编码器返回一个具有4个级别的特征金字塔,这个金字塔随后被用作渐进式局部解码器(PLD)的输入。

在PLD中,金字塔的每个级别首先通过一个局部强调(LE)模块进行处理,以解决基于Transformer的模型在特征表示中表示局部特征的不足,然后通过逐步特征聚合(SFA)融合经过局部强调的金字塔特征。最后,融合的多尺度特征用于预测输入图像的分割图。

3,LE模块的结构

LE模块,即局部强调(Local Emphasis)模块,是SSFormer架构中用于增强Transformer编码器提取的特征的局部特征表示的组件。在FCBFormer的TB(Transformer Branch)中,LE模块的目的是通过强调图像的局部区域来改善Transformer模型在处理细节时的性能。

LE模块的具体由卷积层、激活函数、残差连接、组归一化、通道数调整等部分组成。

LE模块的设计旨在通过突出局部特征来弥补Transformer在处理精细细节时的不足,从而在分割任务中提供更准确的局部边界信息。

4,FCB分支的结构

如上图C所示,是由残差模块组成的U型结构。

5,实验结果

相关推荐
图学习小组5 分钟前
Degradation-Aware Feature Perturbation for All-in-One Image Restoration
人工智能·深度学习·计算机视觉
CoovallyAIHub8 分钟前
AAAI 2026这篇杰出论文说了什么?用LLM给CLIP换了个“聪明大脑”
深度学习·算法·计算机视觉
听麟14 分钟前
HarmonyOS 6.0+ PC端虚拟仿真训练系统开发实战:3D引擎集成与交互联动落地
笔记·深度学习·3d·华为·交互·harmonyos
DuHz18 分钟前
通过超宽带信号估计位置——论文精读
论文阅读·人工智能·机器学习·自动驾驶·汽车
Biomamba生信基地26 分钟前
《Science Advances》11例样本图谱文章,空间转录组揭示特发性肺纤维化病理特征
论文阅读·空间转录组分析
玄同7651 小时前
Python 自动发送邮件实战:用 QQ/163 邮箱发送大模型生成的内容
开发语言·人工智能·python·深度学习·机器学习·邮件·邮箱
玄同7651 小时前
机器学习中的三大距离度量:欧式距离、曼哈顿距离、切比雪夫距离详解
人工智能·深度学习·神经网络·目标检测·机器学习·自然语言处理·数据挖掘
听麟1 小时前
HarmonyOS 6.0+ APP AR文旅导览系统开发实战:空间定位与文物交互落地
人工智能·深度学习·华为·ar·wpf·harmonyos
盼小辉丶2 小时前
Transformer实战——微调多语言Transformer模型
深度学习·语言模型·transformer
Tadas-Gao2 小时前
深度学习与机器学习的知识路径:从必要基石到独立范式
人工智能·深度学习·机器学习·架构·大模型·llm