论文阅读:FCB-SwinV2 Transformer for Polyp Segmentation

这是对FCBFormer的改进,我的关于FCBFormer的论文阅读笔记:论文阅读FCN-Transformer Feature Fusion for PolypSegmentation-CSDN博客

1,整体结构

依然是一个双分支结构,总体结构如下:

其中一个是全卷积分支,一个是Transformer分支。

和FCBFormer不同的是,对两个分支都做了一些修改。

2,FCB分支

本文没有画FCB分支的整体结构,我们借用一下FCBFormer的结构图看一下:

相比FCBFormer,FCB-SwinV2 Transformer模型中的FCB分支进行了以下主要改进:

1)通道维度增加:FCB分支的通道维度被增加,以匹配从SwinV2 Transformer-UNET分支输出的通道维度数量。这样做是为了确保两个分支的输出可以在合并之前具有相同的维度,从而更有效地结合两种架构的优势。

2)组归一化顺序调整:在FCB分支的残差块(RB)中,组归一化(GN)的顺序被调整,以适应SwinV2 Transformer中的残差后归一化(residual post normalization)方法。RB模块的调整如下:

左边为原来的RB模块,右边是本文用的RB模块。主要是把先归一化再卷积,调整为先卷积再做归一化。

3)残差块改进:残差块的设计受到了SwinV2 Transformer中残差后归一化方法的启发。在FCB-SwinV2 Transformer中,残差块的归一化步骤被放置在卷积层之后,这与原始FCBFormer中的顺序不同。

3,TB分支

TB模块采用了SwinV2 Transformer作为其核心,SwinV2 Transformer通过引入"残差后归一化"(residual post normalization)和修改注意力机制来优化原始的Swin Transformer。

解码器模块(scse)如下:

scse模块由cse和sse两个子模块构成。

1)CSE(Channel Squeeze and Excitation)模块是一种注意力机制,它通过显式地建模通道间的依赖关系来增强网络的特征表示能力。

CSE整体结构:

复制代码
输入特征图: F
1. 通道全局平均池化: G = Global_Average_Pooling(F)
2. 卷积和激活: H = Activation(Conv(G))
3. 逐元素乘法: Output = H * F

2)SSE(Spatial Squeeze and Excitation)模块是一种用于增强特征图中空间特征的注意力机制。

SSE整体结构:

复制代码
输入特征图: F
1. 通道压缩: G = Conv(F)  # 使用1x1卷积核
2. 空间激励: H = Activation(G)
3. 逐元素乘法: Output = H * F

把编码器和解码器按照UNET的结构组合起来就是TB分支。

4,实验结果:

相关推荐
AI人工智能+2 分钟前
一种融合AI与OCR的施工许可证识别技术,提升工程监管效率,实现自动化、精准化处理。
人工智能·自动化·ocr·施工许可证识别
大力水手(Popeye)1 小时前
Pytorch——tensor
人工智能·pytorch·python
ygy.白茶2 小时前
从电影分类到鸢尾花识别
人工智能
AI_gurubar5 小时前
大模型教机器人叠衣服:2025年”语言理解+多模态融合“的智能新篇
人工智能·机器人
XINVRY-FPGA6 小时前
EPM240T100I5N Altera FPGA MAX II CPLD
人工智能·嵌入式硬件·fpga开发·硬件工程·dsp开发·射频工程·fpga
HuggingFace7 小时前
开源开发者须知:欧盟《人工智能法案》对通用人工智能模型的最新要求
人工智能
Coovally AI模型快速验证8 小时前
农田扫描提速37%!基于检测置信度的无人机“智能抽查”路径规划,Coovally一键加速模型落地
深度学习·算法·yolo·计算机视觉·transformer·无人机
媒体人8888 小时前
GEO 优化专家孟庆涛:技术破壁者重构 AI 时代搜索逻辑
大数据·人工智能
小菜AI科技8 小时前
Windsurf 评测:这款 人工智能 IDE 是你需要的颠覆性工具吗?
人工智能
RaymondZhao348 小时前
【全面推导】策略梯度算法:公式、偏差方差与进化
人工智能·深度学习·算法·机器学习·chatgpt