论文解读-Towards Direction-Equilibrated Segmentation in3D Medical Images

DEM-Mamba:面向 3D 医学图像方向均衡分割的方向敏感平衡 Mamba 网络(MICCAI 2026)

论文代码链接:

https://github.com/pky88/DEM-Mambahttps://github.com/pky88/DEM-Mamba

Abstract

Due to structural anisotropy and complex anatomical boundaries, 3D medical image segmentation remains a challenging task. To address these issues, this paper proposes the Direction-Sensitive Equilibrium Mamba Network (DEM-Mamba). Through directional decoupling, balanced enhancement, and adaptive fusion, this network systematically enhances structure perception and boundary preservation capabilities in 3D space. Specifically, DEM-Mamba integrates three core designs: First, it employs an Orientation-Aware Module (OAM) based on learnable Riesz wavelets to decouple high-frequency directional features and mitigate information imbalance caused by anisotropic resolution. Second, it designs a Bidirectional Balanced Mamba (BBM), which effectively captures long-range anisotropic dependencies and maintains boundary clarity through complementary bidirectional scanning combined with adaptive normalization. Finally, it introduces an Orientation-Conflict Fusion (OCF) mechanism that dynamically aggregates multi-directional information based on correlation weights, enhancing the model's adaptability to complex boundaries. Experiments across multiple 3D medical image datasets demonstrate that this method outperforms existing state-of-the-art approaches in both segmentation accuracy and boundary integrity, providing an effective new framework for 3D medical image segmentation.

翻译:

受组织结构各向异性与复杂解剖边界的影响,3D 医学图像分割仍是一项极具挑战的任务。针对上述问题,本文提出方向敏感平衡 Mamba 网络(Direction-Sensitive Equilibrium Mamba Network, DEM-Mamba)。该网络通过方向解耦、平衡增强与自适应融合的完整流程,系统性提升了 3D 空间下的结构感知能力与边界保留能力。

具体而言,DEM-Mamba 集成了三项核心设计:第一,采用基于可学习黎兹可导向小波的方向感知模块(OAM),对高频方向特征进行解耦,缓解由各向异性分辨率导致的信息不均衡问题;第二,设计双向平衡 Mamba 模块(BBM),通过互补双向扫描结合自适应归一化,有效捕获长距离各向异性依赖关系,同时维持边界清晰度;第三,引入方向冲突融合机制(OCF),基于相关度权重动态聚合多方向信息,提升模型对复杂边界的适配能力。

在多个 3D 医学图像数据集上开展的实验验证表明,该方法在分割精度与边界完整性两方面均优于现有前沿方法,为 3D 医学图像分割提供了一种有效的新框架。

创新点

(1)提出统一的 DEM-Mamba 方向敏感平衡 Mamba 网络框架,面向 3D 医学图像结构各向异性、边界模糊的核心难题,构建 "方向解耦 --- 平衡建模 --- 自适应聚合" 的完整处理流水线,将方向自适应频域感知与状态空间序列建模深度融合,开创了各向异性解剖结构分割的新范式。

(2)设计方向感知模块(OAM),基于可学习的高阶 3D 黎兹可导向小波变换实现多方向特征解耦,结合径向对数 Gabor 滤波器提取高频边界特征,通过可学习变换矩阵自适应重组方向分量,并采用能量驱动的 Top-K 路由机制筛选高能量主导方向,有效缓解各向异性分辨率导致的方向信息失衡。

(3)提出双向平衡 Mamba 模块(BBM),对筛选后的方向分量执行前向 - 反向互补状态空间扫描,捕获长距离各向异性依赖关系;同时设计双等门(DEG)机制,通过自适应权重抑制双向扫描的反相破坏性干涉、增强同相建设性叠加,在维持线性计算复杂度的同时保障边界清晰度与全局语义一致性。

(4)引入方向冲突融合机制(OCF),基于特征余弦相似度量化全局方向冲突强度,通过冲突调制系数动态调整多方向特征的聚合权重,相位一致时保留特征能量、冲突强烈时衰减冗余能量,有效抑制多方向叠加的相位抵消效应,提升模型对复杂解剖边界的适配能力。

DEM-Mamba 的概念对比示意图

通过三组子图分别呈现了主流通用视觉分割架构的固有缺陷、现有小波辅助方法的应用局限,以及本文提出的 DEM-Mamba 框架的核心设计逻辑,直观阐释了本文针对 3D 医学图像各向异性分割难题的技术路径。

图 (a) 对应现有主流通用视觉分割架构,以 CNN、Transformer、原生 Mamba 等网络为代表,采用纯数据驱动的端到端训练范式,直接输入 3D 医学体数据并输出分割结果。但正如论文引言中明确指出的,这类方法普遍存在方向感知能力不足的核心缺陷:CNN 受限于局部感受野,难以捕获长距离各向异性依赖;Transformer 虽能建模全局关联,但计算代价高且没有显式的各向异性建模机制;而传统 Mamba 采用固定的一维序列扫描,破坏了空间连续性,对模糊边界的捕捉能力不足。整体而言,现有通用架构缺乏对各向异性结构的系统性方向感知与建模,导致低分辨率采集轴上灰度过渡平缓、边界模糊,分割精度下降,构成了 3D 医学图像精准分割的主要瓶颈。

图 (b) 对应现有小波辅助的分割方法,这类方法尝试利用小波变换的多尺度多方向特性弥补方向感知缺陷,但存在两方面固有局限。一是局限于 2D 切片视角:先将 3D 体数据拆分为独立的 2D 切片,再对每个切片做小波分解,无法保证 3D 体数据跨切片的方向一致性,难以充分利用三维空间信息。二是依赖固定小波基函数:通常使用 Haar 等固定基函数,没有可学习的参数化机制,无法自适应匹配多样化的解剖结构模式,因此难以与现代深度学习框架深度融合,在复杂 3D 分割任务中性能突破有限。

补充:小波变换讲解

为什么需要小波变换:傅里叶变换的核心局限

在信号与图像处理中,傅里叶变换可以将信号从空间域映射到频域,告诉我们整个信号里包含哪些频率的分量,但完全丢失了空间位置信息------ 我们只能知道整张图像里有没有某类频率的纹理,却不知道这个纹理出现在哪个位置。

对于医学图像分割任务,核心目标恰恰是精准定位边界、病灶、细微结构这类局部特征;同时 3D 医学图像的解剖结构是各向异性的,特征沿不同方向的分布差异极大。傅里叶变换的全局频域特性完全无法适配这类需求,而小波变换的核心价值就是实现了时频局部化------ 同时保留空间位置信息与频率尺度信息,既能知道某一区域有没有高频边界,又能精准知道这个边界的位置。

小波变换的基本原理

小波(Wavelet)是一类快速衰减、均值为 0 的小波形函数,称为母小波。通过两个核心操作生成一组子小波,对原始信号进行分解:

缩放(Scale):

拉伸或压缩母小波,对应不同的频率尺度 ------ 小波越宽(大尺度)对应低频信息,描述图像的整体轮廓、大体结构;小波越窄(小尺度)对应高频信息,描述图像的边缘、纹理、细节。

平移(Shift):

沿空间轴移动小波的位置,对应不同的空间位置。

将原始信号与每一个尺度、每一个位置的子小波做内积运算,就得到了小波系数------ 系数的大小代表该位置、该尺度的特征强度。最终输出的是一组多尺度、多位置的特征表示,同时具备空间定位能力与频率分辨能力。

我们常说的离散小波变换(DWT) 是数字图像最常用的形式,对二维图像做一级分解后会得到 4 个子带:

LL:低频近似子带,保留图像整体结构;

LH、HL、HH:分别是水平、垂直、对角方向的高频子带,捕捉对应方向的边缘纹理。

传统固定小波(如 Haar 小波、Daubechies 小波)都属于这类,方向是固定的(水平 / 垂直 / 对角),基函数是预先定义、不可学习的。

图 (c) 为本文提出的 DEM-Mamba 框架,针对性解决了上述两类方法的缺陷,整体遵循 "方向解耦 --- 平衡建模 --- 自适应聚合" 的核心逻辑,对应三个核心模块的级联处理。

第一步是方向解耦,对应图中的 "Directional Wavelet Bases" 部分,基于可学习的 3D 黎兹可导向小波直接对三维体数据进行多方向特征分解,对应原文公式:

通过扩张可分离卷积M(.)提取多尺度特征,经实值傅里叶变换映射到频域后,结合径向对数 Gabor 滤波器提取高频边界分量,再通过高阶黎兹变换生成多个方向基,构建连续可转向的方向表示。随后通过可学习变换矩阵U自适应重组方向特征,让方向分布更匹配真实解剖结构,对应原文公式:

最后引入基于能量的 Top-K 路由机制,按通道、深度、高度、宽度维度计算特征平方范数,筛选出 K 个能量最高的主导方向,对应原文公式:

这一过程直接在 3D 体数据上完成,避免了 2D 切片的方向一致性损失,且小波基具备可学习能力,突破了固定基函数的局限。

第二步是平衡建模,对应图中的 "Forward / Reverse" 双向扫描与 "Balanced Features" 部分,对筛选后的每个方向分量,分别执行前向与反向互补状态空间扫描,建模长距离各向异性依赖关系,状态空间更新过程对应原文公式:

前向扫描从前到后递归更新隐藏状态,反向扫描从后到前补充反向上下文,双向互补避免了单向 Mamba 固有的序列偏向问题。在此基础上通过双等门(DEG)机制实现双向特征的平衡融合,先通过 3×3×3 深度可分离卷积、GELU 激活与逐点卷积处理双向输出,对应原文公式:

最终通过交叉加权的方式融合双向特征,抑制反相破坏性干涉、增强同相建设性叠加,对应原文公式:

在维持线性计算复杂度的同时,保障了边界清晰度与全局语义一致性。

第三步是自适应聚合,对应图中的 "Orientation-Conflict Fusion" 部分,针对多方向特征叠加时的相位抵消导致的边界退化问题,基于特征余弦相似度量化全局方向冲突强度,动态调整聚合权重。首先对每个方向特征做 1×1×1 卷积与 3D 实例归一化得到投影特征,并计算空间维度上的通道全局均值向量,对应原文公式:

随后量化全局方向冲突强度gamma,通过可学习温度参数au控制冲突检测灵敏度,对应原文公式:

最后通过冲突调制系数对多方向特征的求和结果做加权融合,冲突越强特征衰减越大,相位一致则保留完整能量,对应原文公式:

动态抑制破坏性干涉,有效提升模型对复杂解剖边界的适配能力,最终输出高精度的分割结果。

DEM-Mamba 的整体框架

DEM-Mamba 的整体框架示意图,整体基于 UNETR 风格的 3D 编码器 - 解码器架构搭建,每一个编码层级都串联嵌入方向感知模块、双向平衡 Mamba 模块、方向冲突融合模块三个核心单元,形成 "方向解耦 --- 平衡建模 --- 自适应聚合" 的完整处理链路。图中标注的 F_i^l 代表第l层的输入特征,经过核心模块处理后输出得到第 l+1 层特征 F_i^(l+1),最终通过多尺度特征融合与输出头生成 3D 医学图像的分割结果。

补充:UNETR 风格的定义与核心特点

UNETR 全称是 UNETR: Transformers for 3D Medical Image Segmentation,是 2022 年提出的首个面向 3D 医学图像的纯 Transformer 分割架构。"UNETR 风格" 本质上是一种U 型编码器 - 解码器 + 跳跃连接的通用架构范式:整体继承经典 U-Net 的多尺度编解码、跨层跳跃连接的结构框架,但将传统 U-Net 里的卷积特征提取块,替换为全局建模能力更强的新型模块(原生 UNETR 用的是 Transformer,后续衍生工作也可以替换为 Mamba、小波模块等),专门适配 3D 体数据的长距离依赖建模需求。

核心结构特征

整体 U 型编解码框架

和经典 U-Net 完全一致:编码器逐级下采样压缩空间尺寸、提升通道数,提取从浅到深的多尺度特征;解码器逐级上采样恢复空间分辨率;编码器与解码器对应层级之间通过跳跃连接传递特征,补充上采样过程中丢失的底层细节。

核心模块替换为全局建模单元

这是和经典 U-Net 最核心的区别:经典 U-Net 用 3×3×3 卷积堆叠做特征提取,感受野有限;而 UNETR 风格的网络,用具备全局建模能力的模块替代卷积块 ------ 原生 UNETR 用的是多头自注意力 Transformer,DEM-Mamba 则替换成了「OAM 方向感知 + BBM 双向 Mamba+OSF 冲突融合」的级联模块,在保持线性复杂度的同时实现全局各向异性建模。

3D 体数据适配设计

针对 3D 医学体数据,输入端采用 3D Patch Embedding(体块嵌入)将三维体数据划分为不重叠的体块并映射为特征序列,后续的下采样、上采样也均为 3D 操作,完整保留三维空间信息。

对应到 DEM-Mamba 框架

图最上方的主干网络就是典型的 UNETR 风格结构:整体 U 型多尺度编解码 + 层归一化 + 残差连接 + 跳跃连接,只是把原生 UNETR 中的 Transformer 编码器块,替换成了本文提出的 OAM-BBM-OSF 三级 Mamba 级联模块,既保留了 U 型架构多尺度特征融合的优势,又通过方向感知 Mamba 解决了 3D 医学图像的各向异性分割难题。

最上方灰色区域是特征提取主干网络,采用经典的残差连接结构。输入的 3D 医学体特征首先经过层归一化做标准化处理,送入核心级联模块完成方向感知与特征增强;模块输出的特征与原始输入特征做逐元素残差相加,再经过第二层归一化和 MLP 层做特征变换,再次通过残差连接得到下一层的特征。编码器侧通过下采样逐级压缩空间尺寸、提升通道维度,提取从浅到深的多尺度特征;解码器侧通过上采样逐步恢复空间分辨率,同时结合跳跃连接融合编码器对应层级的特征,保留底层细节信息,最终通过输出头生成像素级的分割预测。这个主干框架提供了多尺度特征提取的基础,而针对 3D 医学图像结构各向异性、边界模糊的核心优化,由下方三个级联的功能模块实现。

OAM 方向感知模块,对应图中左侧红色虚线框,设计目标是解决现有模型方向感知不足的问题,基于可学习的 3D 黎兹可导向小波实现多方向特征解耦。输入特征首先经过多尺度扩张可分离卷积提取不同尺度的特征,并搭配全局通道加权分支强化重要通道;随后通过实值傅里叶变换映射到频域,结合径向对数 Gabor 滤波器提取高频边界分量,再通过高阶黎兹变换生成多个方向的特征基,构建连续可转向的方向特征表示,再通过逆实值傅里叶变换映射回空间域,得到多组不同方向的特征图。之后特征会经过可学习的变换矩阵做自适应方向重组,让方向分布更好地匹配真实解剖结构的方向特征;最后通过基于能量的 Top-K 路由机制,计算每个方向特征在通道、深度、高度、宽度维度的能量平方范数,筛选出 K 个能量最高的主导方向分量,在强化主导结构信息的同时,保留关键的各向异性细节,有效缓解低分辨率采集轴导致的方向信息失衡问题。

补充:

黎兹小波(Riesz Wavelet)

黎兹变换是希尔伯特变换在高维空间的推广,可以将一个标量母小波,变换为一组方向敏感的矢量小波。

它的核心特性是旋转不变性与方向连续性:不像传统小波只有离散的几个固定方向,黎兹小波可以通过线性组合,生成任意连续角度的方向基,相当于可以 "转向" 的小波,因此也叫可导向小波(Steerable Wavelet)。

拓展到 3D 空间后,3D 黎兹小波可以在三维立体空间中生成任意朝向的方向特征基,完美适配 3D 医学图像中任意走向的解剖边界、血管、器官壁等各向异性结构。

可学习参数化

传统小波的基函数是固定的,无法根据特定数据集的解剖方向分布自适应调整。而本论文中设计了可学习的变换矩阵 U,对黎兹小波生成的方向基做线性重组,让方向分布可以跟随训练数据自适应优化,更匹配目标器官、病灶的真实方向特征。这也是论文中learnable Riesz wavelets的核心创新点。

在 DEM-Mamba 中的具体作用(结合 OAM 模块)

在 OAM 方向感知模块中,小波变换的完整作用流程如下:

  1. 输入 3D 特征先通过扩张可分离卷积提取多尺度特征,再经实值傅里叶变换(rFFT)映射到频域。

  2. 与径向对数 Gabor 滤波器逐元素相乘,提取高频边界分量,弱化无关的低频背景。

  3. 通过高阶黎兹变换生成多个连续方向基,将频域特征分解到不同方向上,实现方向解耦------ 把原本混杂的各向异性结构,拆解为一个个独立方向的特征分量。

  4. 乘上可学习变换矩阵 U,自适应重组方向特征,让方向分布匹配当前数据集的解剖结构。

  5. 逆实值傅里叶变换(irFFT)映射回空间域,再通过 Top-K 能量路由,筛选出能量最高的 K 个主导方向,送入后续 Mamba 模块做长距离建模。

这套设计既解决了传统 CNN/Transformer 方向感知不足的问题,也克服了传统小波方法2D 切片处理、基函数固定的两大局限,是 DEM-Mamba 应对 3D 医学图像各向异性的核心基础。

小波变换用于医学图像分割的核心优势

(1)多尺度适配性:

从器官大体轮廓到毫米级病灶边界都能精准捕捉,匹配医学图像多尺度的特点。

(2)方向敏感性:

可导向小波能捕捉任意朝向的解剖边界,尤其适合血管、心肌壁、神经纤维这类各向异性结构。

(3)边界精准性:

高频子带精准对应边缘信息,天然有利于提升分割的边界清晰度,解决医学图像边界模糊的难题。

(4)端到端可训练:

可学习小波基可以和深度网络联合优化,适配特定任务、特定器官的数据分布。

BBM 双向平衡 Mamba 模块,对应图中中间紫色虚线框,设计目标是建模长距离各向异性依赖,同时避免单向 Mamba 的序列偏向问题。OAM 输出的 K 个方向特征分别送入 BBM 模块处理:特征首先经过线性投影与卷积、SiLU 激活做预处理,随后分为前向和反向两条支路,分别送入状态空间模型执行序列扫描。前向扫描沿序列从前到后递归更新隐藏状态,捕获正向的长距离依赖;反向扫描沿序列从后到前递归更新隐藏状态,补充反向的上下文信息,双向互补避免了单向 Mamba 固有的前重后轻的序列偏向问题。两路状态空间输出随后送入 DEG 双等门模块做平衡融合,通过自适应的权重分配,抑制双向扫描之间反相的破坏性干涉,增强同相的建设性叠加,在维持 Mamba 线性计算复杂度的同时,既保障了全局语义的一致性,也精准保留了高频的边界细节。

OSF 方向冲突融合模块,也就是论文中的 OCF 方向冲突融合机制,对应图中右侧绿色虚线框,设计目标是解决多方向特征叠加时的相位抵消问题,实现自适应的多方向特征聚合。BBM 输出的 K 个方向特征首先经过 1×1×1 卷积调整通道,再经过 3D 实例归一化得到投影特征,并计算每个方向特征在空间维度上的通道全局均值向量。随后基于余弦相似度的思路,计算所有方向对之间的特征差异,量化出全局方向冲突强度:冲突强度取值在 0 到 1 之间,值越低代表方向相位越一致、建设性叠加越强,值越高代表破坏性干涉越明显,其中可学习的温度参数用来控制冲突检测的灵敏度。最后将所有方向特征累加求和,再乘以冲突调制系数,完成冲突感知的自适应融合:当方向相位一致、冲突弱时,特征能量基本完整保留;当方向冲突强烈时,对应衰减特征能量,抑制破坏性的相位抵消,最终输出融合后的增强特征,有效提升模型对复杂解剖边界的适配能力。

相关推荐
罗小罗同学3 天前
西交联合腾讯和剑桥团队发表轻量化医学智能体,无需重新训练模型即可大幅提升诊断准确率,同时还可以增强模型解释性
人工智能·深度学习·机器学习·医学图像处理·医工交叉·医学ai
罗小罗同学10 天前
谷歌团队在Nat Med最新发表的医学多模态模型,4B参数的模型性能逼近671B的DeepSeek
人工智能·医学图像处理·医工交叉·医学ai
小徐xxx19 天前
各种卷积操作的介绍
深度学习·医学图像处理·医学图像分割·卷积
小徐xxx1 个月前
论文解读-Shape-Scale Co-Awareness Network for 3DBrain Tumor Segmentation
医学图像处理·医学图像分割
CODER03042 个月前
Anaconda和Mamba创建环境管理包常用命令合集
python·深度学习·conda·虚拟环境·mamba·常用命令大全
小徐xxx2 个月前
论文解读-VISTA3D: A Unified Segmentation Foundation Model For 3D Medical Imaging
医学图像处理·医学图像分割·通用大模型
罗小罗同学3 个月前
Nat. Biomed. Eng最新发表的医学AI基础模型CLEAR,可以将诊断决策与临床概念一一匹配,不再是传统黑箱模型
人工智能·医学图像处理·医工交叉·医学ai
罗小罗同学3 个月前
安德森癌症中心发表SCOPE IO模型,实现了对罕见肿瘤帕博利珠单抗疗效的精准预测,在患者早期即可预判药效
人工智能·算法·医学图像处理·医学ai
罗小罗同学4 个月前
哈佛团队在Nat Med发表医学AI模型,可以在任务推理阶段实时调整推理方式,无需重新训练
人工智能·医学图像处理·医工交叉·医学ai