本推文介绍了一篇发表于CVPR 2026的论文《SegMoTE:Token-Level Mixture of Experts for Medical Image Segmentation》。SAM通用分割能力惊艳业界，但落地CT、MRI、皮肤镜、X光等多模态医学影像时存在跨模态泛化差、海量专业标注成本高昂等问题。四川大学、新疆大学、阿里达摩院等团队联合提出SegMoTE，建立Token级混合专家架构，仅新增17M可训练参数，依托仅0.15M高质量掩码数据集，在完整保留SAM（Segment Anything Model）原生零样本能力的同时，实现医学模态自适应分割，并且自研PPT（Progressive Prompt Tokenization）自动提示机制摆脱人工交互标注，大幅降低临床AI部署门槛。
原文链接： https://arxiv.org/abs/2602.19213
代码链接： https://github.com/InMyDreammer/SegMoTE
本文作者为黄忠祥，审校为王一鸣、龚裕涛
一 研究背景与主要贡献
医学影像分割是临床辅助诊断、病灶定量分析的核心技术支撑，但行业长期面临两大现实困境。一方面，CT、MRI、X光、皮肤镜等多模态影像的成像原理、解剖特征差异悬殊，单一模型难以实现跨模态的稳定精准分割；另一方面，像素级的医学标注高度依赖专业医师，叠加数据隐私与合规限制，高质量标注数据的获取成本极高、周期极长。通用分割大模型SAM的出现，为医学分割提供了新的技术底座，但现有适配方案始终存在两大核心短板。
一是缺乏模态感知的自适应机制。多数方案直接将异构多模态数据混合后对SAM做全量/解码器微调，训练中不同模态的特征表达逐渐同质化，不仅弱化了模态专属的语义区分度，还会引发分布偏移，逐步侵蚀SAM原生的零样本泛化能力。二是陷入大量数据堆砌的误区。主流方法依赖百万甚至千万级的掩码数据规模做无差别训练，数据冗余度高、监督噪声大，不仅大幅推高标注与训练成本，还容易出现负迁移，性能增长陷入边际效益递减的瓶颈。
图1 SegMoTE方法与传统微调方法的思路差别
图1展示了作者提出的SegMoTE方法与传统微调方法的思路差别。从左到右看，皮肤镜、CT、MRI、X光四类临床常见的多模态影像，先统一经过冻结的SAM编码器提取通用视觉特征。传统做法是直接把所有模态的特征一股脑塞进可训练的掩码解码器做微调，最终特征分布整体发生偏移，既废掉了SAM原生的零样本泛化能力，也没法针对不同模态做差异化处理，还得训练海量参数，算力成本居高不下。而SegMoTE走了外挂式适配的轻量化路线。全程冻结SAM的掩码解码器，完整守住其原始分割能力，只在外围新增一组轻量的专家Token，通过路由网络根据输入模态动态激活对应专家，再配合负载均衡约束让各模态专家各司其职、互不偏废。最终的特征分布既保留了SAM的原始主峰，又长出了模态专属的特征分支，真正做到了保留原生能力、模态自适应、极致轻量化三者兼得。
二 研究方法
图2 SegMoTE结构的总体框架
图2展示了SegMoTE采用冻结SAM主干搭配外挂轻量适配模块的轻量化设计思路，完整保留SAM原生的提示接口与零样本分割能力，仅通过新增少量可学习参数实现多模态医学影像的自适应分割。多模态混合的图像批次输入后，首先经全程冻结的SAM图像编码器提取通用图像嵌入特征，从源头避免全量微调带来的预训练能力遗忘与分布偏移。送入掩码解码器的Token序列由四部分拼接组成：SAM原生的输出Token、提示Token（对应点、框等传统交互模式）、新增的专家Token、PPT生成的特征Token。同样全程冻结的SAM掩码解码器包含2层标准解码层，每层依次完成自注意力、Token到图像注意力的特征交互后，会插入MoTE模块对Token进行动态专家更新，再继续完成图像到Token的注意力计算。最终解码器输出的特征经转置卷积上采样与MLP映射后，与上采样特征逐元素相乘，输出高精度分割掩码。
1.PPT模块（渐进式提示分词模块）
图3 PPT模块结构
PPT模块是针对皮肤病、胸片等二分类分割场景设计的无交互提示方案，目标是降低模型对人工交互标注的依赖，实现全自动推理。模块以冻结编码器输出的图像特征为输入，通过随机采样掩码与文本提示作为前景先验，驱动可学习查询Q在归一化图像特征上执行多头注意力，自主捕捉前景与背景的分布差异，注意力增强后的特征再经MLP投影与残差融合，生成与当前图像语义对齐的特征Token，直接送入解码器替代传统人工点/框提示参与分割计算。PPT的"渐进"指的是它的训练策略，即模型不是一步到位学会前景定位，而是随着训练轮次推进，交替使用掩码提示与文本提示做监督，逐步引导可学习Q精准对齐前景区域，最终实现推理阶段的全自动无提示分割。PPT模块三个阶段的演进逻辑描述如下。
（1）n-2 Epoch（训练初期）
随机采样正/负样本提示作为监督，打勾的掩码/文本对应真实前景（正样本），打叉的对应错误区域（负样本），初步引导可学习Q建立前景与背景的基础区分认知，此时生成的特征Token精度较低。
（2）n-1 Epoch（训练中期）
交替切换掩码提示与文本提示两种监督形式，不断修正Q的注意力分布，让特征Token与病灶/器官的语义对齐度逐步提升，定位精度持续优化。
（3）n Epoch（训练后期）
经过多轮迭代，可学习Q已经能稳定、精准地自主定位前景区域，生成的特征Token可以独立引导解码器完成高精度分割。到推理阶段，不再需要任何人工输入的点、框或文本，仅靠PPT自动生成的特征Token即可完成二分类任务的全自动分割。
这种渐进式的训练设计，让模型在皮肤病、胸片等二分类场景下彻底摆脱了对人工交互的依赖，同时在域外零样本场景下，比人工提示的泛化能力更强。该模块在二分类数据集上可带来1%~6%的性能提升，尤其在域外泛化场景下增益显著，在不依赖任何人工交互的前提下，兼顾了分割精度与临床使用效率。
2.MoTE模块（Token级混合专家模块）
图4 MoTE模块结构
MoTE是SegMoTE实现跨模态自适应的核心创新，被插入到每一层掩码解码器的注意力流程中，在不修改解码器原生参数的前提下完成模态专属的特征更新。
模块内部包含多路并行的Token专家分支，每个专家分支专门拟合一类成像模态的特征模式与解剖先验，输入Token首先进入路由网络，通过带噪声的Top-K门控机制计算每一路专家与当前输入的适配度得分，动态筛选出与当前图像模态最匹配的专家分支，被激活的专家输出会乘以对应的门控置信度权重做加权融合，得到更新后的专家Token后回流到解码器后续流程。路由过程配套基于变异系数平方的负载均衡损失，同时约束各专家的调用频次与重要度分布，避免训练中出现少数专家垄断、其余专家长期闲置的塌缩问题，保证不同模态都能学到专属且高区分度的特征表示，最终在同批次内实现不同模态影像的差异化处理。
三、实验结果
图5 域内分割结果对比
图5完整呈现了SegMoTE在域内多模态数据集上的分割性能与训练数据规模的对比。左侧(a)、(b)两张雷达图分别对应单点点击、边界框两种临床常用交互模式下的Dice系数表现。覆盖AMOS(CT/MRI)腹部多器官、BTCV、CHAOS(T1/T2)、ISIC皮肤病系列、SZ-CXR胸片等六大成像模态及十余类解剖任务。代表SegMoTE的红色曲线在所有数据集上均形成最外围的完整包络，全面超越SAM、SAM2、MedSAM、SAM-Med2D、IMIS等所有主流基线方法。其中边界框交互模式下整体性能进一步提升，在皮肤病、胸片这类二分类数据集上的优势尤为显著。右侧(c)图采用对数坐标展示各方法的训练数据集规模，直观凸显出SegMoTE仅使用0.15M高质量掩码完成训练，数据规模不足IMIS方案的千分之一、远小于其他大样本方案，却实现了全维度的性能反超，有力证明了高质量精选数据集结合Token级MoE轻量化适配的技术路线远比盲目堆砌海量标注数据的传统范式更高效、更具临床落地价值。
表1 零样本分割性能对比
表1是域外零样本分割性能对比表，所有测试数据集均未出现在训练集MedSeg-HQ中，核心用于验证模型的跨分布泛化能力，指标为Dice系数（越高越好），统一使用边界框作为交互提示。其中蓝色标注次优结果，红色标注最优结果。
这张表对比了7种方法，包括通用基线SAM、SAM2、医学适配基线MedSAM、Huang et al.、SAM-Med2D、IMIS、本文提出的SegMoTE（Ours）。覆盖了3类典型域外任务，包括缺血性脑卒中病灶分割、胸部多器官分割、腹部MRI多器官分割。
在这张表中，发现三个域外数据集的平均指标上，SegMoTE全部刷新最优性能。证明冻结SAM主干集合Token级MoE轻量适配的路线比全量微调、大规模数据堆砌的方案拥有更强的跨分布泛化能力。同时MedSAM在三个域外数据集上表现显著落后，甚至低于原生SAM，印证了无差别全量微调会破坏SAM原生泛化能力、引发负迁移的问题。
表2 解冻解码器性能对比
表2是放开SAM掩码解码器进行端到端联合微调后的性能对比实验，不再冻结SAM的掩码解码器，而是将其原生参数与MoTE、PPT模块一同在MedSeg-HQ上训练，验证SegMoTE的创新机制在全量微调设定下是否依然能带来稳定增益。表格指标为Dice系数（越高越好），蓝色标注次优结果，红色标注本文方法的最优结果。
表格覆盖了6个域内数据集和3个域外数据集，SegMoTE在全部9个测试集上均取得最优性能。
（1）域内数据集（前6行，同分布测试）
该数据集包含AMOS(CT/MRI)腹部多器官、BTCV、CHAOS(T1)腹部MRI、ISIC2018皮肤病、SZ-CXR胸片，均属于训练集覆盖的同分布数据。SegMoTE在所有数据集上全面领先。其中二分类场景提升尤为显著，ISIC2018皮肤病分割达到93.02，SZ-CXR胸片分割达到95.04，较次优方法IMIS分别提升4.09、3.01个点，多器官数据集也保持1.5~2个点的稳定优势。
（2）域外数据集（后3行，零样本泛化测试）
该数据集包含ISLES（缺血性脑卒中病灶分割）、SegThor胸部器官、TotalSegmentator（MRI）腹部多器官，均未出现在训练集中。SegMoTE同样全部刷新SOTA。其中ISLES稀疏病灶分割提升幅度最大，从次优IMIS的71.20提升至78.05，增益近7个点。SegThor与TotalSegmentator(MRI)两类多器官任务也分别提升2.95、2.66个点，验证了机制的跨分布泛化优势。
总体而言，即使放开解码器全参数训练，MoTE专家路由与PPT自动提示机制依然能带来显著性能提升，说明其不是仅适用于参数高效微调的小技巧，而是能从特征层面强化模型的模态适配与分割精度。并且在皮肤病、胸片、脑卒中病灶这类前景稀疏的二分类任务，提升幅度远大于多器官分割任务，与PPT模块的设计目标高度契合。其泛化能力也不随微调退化，即使在全解码器微调后，SegMoTE在域外数据集上依然保持大幅领先，没有出现传统全量微调常见的域内过拟合、域外负迁移问题，侧面证明专家机制对模态特征的拆分有效缓解了分布偏移。
图6 专家Token选择统计与专家数量消融实验
图6(a)统计了不同数据集上4个专家Token的激活占比，用来验证MoTE的路由机制是否真的形成了模态专属的专家分工。横轴为6类不同模态/任务的数据集，纵轴为对应专家Token的激活比例。4种颜色分别对应Token 0~3共4个专家，柱顶数字为对应数据集的样本量。能明显发现不同模态存在稳定的专家偏好。在CHAOS(T1)腹部MRI，Token 0激活占比最高，接近30%，ISIC系列皮肤镜皮肤病数据，Token2占据绝对主导。在负载均衡损失的约束下，不同专家Token自发形成了清晰的模态特征分工，验证了MoTE路由机制确实实现了不同模态自动匹配专属专家路径的设计目标，具备明确的可解释性。
图6(b)与图6(c)为针对MoTE模块设计的专家数量消融实验，两组实验均在SegThor、ISLES、TotalMRI三个域外数据集上开展，以Dice系数为评价指标，核心目的是探究总专家数N与单样本激活专家数M的最优配比，同时分析训练模态数量的增加对专家配置性能的影响，验证机制的泛化能力与可扩展性。
其中图(b)对应4种模态训练的实验设置，横轴为不同的专家配置比例（总专家数：单次激活数），涵盖4:1、8:1、8:4、12:1、12:6五组配置。实验结果显示，在4种训练模态的设定下，4:1的配置（共4个专家、单样本仅激活1个专家）在所有三个域外数据集上均取得最优性能。随着总专家数逐步增加至8、12，三组数据集的Dice系数均呈现明显的下降趋势，这一现象说明当专家总数超过实际模态特征的类别数时，会引发特征表达冗余，分散模型的学习信号，反而对分割精度与泛化能力造成负面影响。
图(c)对应7种模态训练的实验设置，用于验证模态数量扩容后专家配置的性能变化。结果表明，即便训练模态从4种拓展至7种，4:1的专家配置依然在所有域外数据集上保持性能最优，且整体性能未出现明显衰减。而8专家、12专家的配置性能依旧低于4专家配置，并未因训练模态的增加而体现出参数规模优势。
综合两组实验可以得出，4个专家足以覆盖医学影像的核心模态特征差异，无需盲目通过增加专家数量来提升性能。MoTE的动态路由机制具备良好的特征复用能力，新增模态可通过现有专家的特征组合与复用维持稳定性能，不会带来参数量的线性增长，在参数效率与可扩展性上具备显著优势。
图7 MoTE专家路由可视化结果
图7是SegMoTE的专家路由可视化可解释性分析图，用于直观验证MoTE机制的模态分工与定位能力。图中每行对应一个数据集（AMOS腹部CT、CHAOS腹部MRI、ISLES脑卒中病灶、ACDC心脏MRI），前四列分别是4个专家Token的空间注意力热力图，绿色对勾为路由网络最终选中的专家，红框标注目标分割区域，最右侧为真实标注金标准。结果显示，不同模态与任务会自动匹配到专属的专家Token，被选中专家的高激活区域能精准对齐待分割的器官与病灶，即便ISLES这类域外数据集，也能正确路由并聚焦目标，直观证明了MoTE清晰的模态分工、精准的目标定位能力与良好的泛化性。
表3 PPT 消融实验
表3是PPT模块的消融实验表，用于验证PPT的性能增益，并探究模块内可学习查询Q的最优数量，指标为Dice系数，测试集均为二分类/稀疏分割场景，红色标注最优结果，蓝色标注次优。可以看到所有带PPT的配置，性能均全面高于无PPT的基线，其中域外ISLES数据集提升幅度最大，较基线提升超6个百分点，证明PPT不仅能替代人工交互提示，还能大幅增强模型的跨域泛化能力。整体来看2个可学习查询的表现最优，在3个数据集上取得最高精度，查询数量增加到4、8后性能轻微波动甚至下降，说明少量查询即可有效捕捉前景与背景的分布差异，过多查询反而会引入特征冗余。并且PPT在域外数据集上的增益远大于域内，说明自适应生成的特征Token，比固定的人工点提示具备更强的分布鲁棒性，更适配临床中未见模态的零样本分割场景。
四 总结
SegMoTE是一套轻量化的SAM医学影像分割适配方案，针对传统方案泛化能力弱、标注成本高、全量微调易破坏模型原生能力的痛点，通过Token级混合专家（MoTE）动态路由实现模态自适应，搭配渐进式提示分词（PPT）实现无人工交互的全自动二分类分割。方案仅需17M可训练参数、依托不足主流方案1%规模的高质量精选数据集，就在域内与域外零样本任务上全面刷新SOTA，同时完整保留了SAM的原生能力与交互接口，为医学视觉大模型的低成本、轻量化临床落地提供了可行路径。