图像分割论文阅读:BCU-Net: Bridging ConvNeXt and U-Net for medical image segmentation

本文提出了一种集合ConvNeXt和U-Net优势的网络模型来分割医学图像。

当然,模型整体结构就是并列双分支,如果只是这些内容,不值得拿出来讲。

主要有意思的部分是其融合两分支的多标签召回模块(multilabel recall loss module,简称MRL)。

1,模型整体结构

按照原文的说法,该论文提出了一个双分支的模型结构,其中一个分支是基于ConvNext,一个是是UNet分支。(其实该模型的ConvNext分支也是个类似UNet的结构,先编码再解码。)基于ConvNext的分支负责提取全局特征,而UNet分支负责提取局部特征。两种特征结合从而提升医学图像分割能力。

2,多标签召回模块(MRL)

2.1 提出MRL模块的两个目的:

1)解决类别不平衡问题

2)解决两个分支的异构性问题。两个分支提取的特征和提取出的特征具有显著差异,直接融合,效果并非最优。

2.2 实现方式

MRL模块引入了召回损失,公式如下:

其中,C是像素的类别数,在一般医学图像分割中都是2,也就是前景和背景。指的是c类的几何平均置信度,指的是输入在所有类上的预测softmax分布。是类别c的召回值。

这个召回损失可以在迭代训练的过程中根据该轮训练中的召回表现动态调整,从而实现动态加权,这样就可以解决类别不平衡的问题。

相关推荐
绍兴贝贝几秒前
代码随想录算法训练营第四十六天|LC647.回文子串|LC516.最长回文子序列|动态规划总结
数据结构·人工智能·python·算法·动态规划·力扣
逐鹿人生1 小时前
【人工智能工程师系列】一【全面Python3.8入门+进阶】ch.3
人工智能
杨浦老苏1 小时前
本地优先的AI个人助手Moltis
人工智能·docker·ai·群晖
OBS插件网1 小时前
OBS直播如何给人脸加口罩特效?OBS口罩特效插件下载安装教程
人工智能·数码相机·语音识别·产品经理
LitchiCheng1 小时前
Mujoco 如何添加 Apriltag 并获得相机视野进行识别
人工智能·python·开源
想用offer打牌1 小时前
一站式了解Agent Skills
人工智能·后端·ai编程
一切尽在,你来1 小时前
LangGraph快速入门
人工智能·python·langchain·ai编程
阿杰学AI2 小时前
AI核心知识110—大语言模型之 AI Collaboration Manager(简洁且通俗易懂版)
人工智能·ai·语言模型·自然语言处理·aigc·人机交互·ai协作管理员
SCLchuck2 小时前
人工智能-概率密度估计
人工智能·python·概率论·概率密度估计
王解2 小时前
AI Agent记忆模块进化史:从临时缓存到认知架构的设计范式
人工智能·缓存·架构