论文阅读:LAPFormer: A Light and Accurate PolypSegmentation Transformer

这是一个基于Transformer的轻量级图像分割模型。作者们使用MiT(Mix Transformer)作为编码器,并为LAPFormer设计了一个新颖的解码器,该解码器利用多尺度特征,并包含特征精炼模块和特征选择模块,以生成精细的息肉分割掩码。

1,模型的整体结构:

LAPFormer模型的整体结构是一个编解码器(Encoder-Decoder)架构,其中编码器基于Transformer,而解码器则是一个新颖的CNN结构。

2,编码器:

编码器分支会输出四个分辨率不同的特征图,用于捕捉不同尺度的特征。

其中MiT使用卷积核而不是位置编码(Positional Encoding, PE),这样做是为了在测试分辨率与训练分辨率不同时避免性能下降。卷积层被认为更适合于为Transformer提取位置信息。

MiT使用4x4的小图像块作为输入,这被证明有利于密集预测任务,如语义分割。

3,解码器:

解码器部分包含:特征精炼模块(FRM),特征选择模块(FSM),渐进特征融合(PFF)和低层连接。

1)特征精炼模块(FRM):

结构如下:

作用是增强局部特征并减少噪声。

2)特征选择模块(FSM)

在预测之前,FSM通过加权向量强调重要特征图并抑制冗余信息,从而帮助网络集中注意力于重要区域。本质是一个注意力机制。

3)渐进特征融合(PFF)

逐步融合来自上层和下层尺度的特征,减少低分辨率、高语义特征图与高分辨率、低语义特征图之间的信息差距。

4)低层连接

通过跳跃连接将FSM的输出特征图与渐进特征融合中的最低层特征图连接起来,以增强模型对息肉边界的预测能力。

4,实验结果:

相关推荐
行走__Wz42 分钟前
【刘二大人】《PyTorch深度学习实践》——PyTorch实现线性回归代码(自用)
pytorch·深度学习·线性回归
一碗白开水一44 分钟前
【工具相关】OpenClaw 配置使用飞书:打造智能飞书助手全流程指南(亲测有效,放心享用)
人工智能·深度学习·算法·飞书
童话名剑1 小时前
YOLO v3(学习笔记)
人工智能·深度学习·yolo·目标检测
飞Link2 小时前
梯度下降的优化算法中,动量算法和指数加权平均的区别对比
人工智能·深度学习·算法
泥壳AI3 小时前
[特殊字符] OpenClaw + 飞书集成超详细教程
人工智能·python·深度学习·阿里云·飞书
查无此人byebye3 小时前
【保姆级教程】从零实现模块化Transformer对话生成模型(PyTorch完整代码)
pytorch·深度学习·transformer
yiyu07163 小时前
3分钟搞懂深度学习AI:实操篇:ResNet
人工智能·深度学习
啊巴矲3 小时前
小白从零开始勇闯人工智能:bert自然语言框架(2)
人工智能·深度学习·bert
放下华子我只抽RuiKe53 小时前
AI大模型开发-实战精讲:从零构建 RFM 会员价值模型(进阶挑战版)
人工智能·深度学习·算法·机器学习·数据挖掘·数据分析·聚类
青春不败 177-3266-05204 小时前
最新AI-Python自然科学领域机器学习与深度学习技术——随机森林、XGBoost、CNN、LSTM、Transformer,从数据处理到时空建模等
人工智能·深度学习·机器学习·transformer·自然科学随机森林