Efficient Subclass Segmentation in Medical Images
摘要
随着医学图像分析的研究兴趣越来越细化,大量注释的成本也在上升。降低成本的一种可行方法是使用粗粒度超类标签进行注释,同时使用有限的细粒度注释作为补充。通过这种方式,细粒度的数据学习得到了大量粗略注释的辅助。最近在分类任务中的研究采用了这种方法,以取得令人满意的结果。然而,在语义分割任务中,对细粒度子类的高效学习缺乏研究。
本文提出了一种利用类别的层次结构来设计网络架构的新方法。同时,提出了一种任务驱动的数据生成方法,使网络更容易识别不同的子类类别。
引入了一个先验串联模块,该模块通过连接来自超类分类器的预测对数来增强子类分割的置信度,一个单独的归一化模块,该模块拉伸同一超类内的类内距离以促进子类分割,以及一个 HierarchicalMix 模型,该模型通过仅融合来自标记和未标记图像的相似超类区域,为未标记的样本生成高质量的伪标签。
代码地址
本文方法
Prior Concatenation:同时利用超类和子类注释的一种直接方法是使用两个 1×1×1 卷积层作为超类和子类的分类头,将预测的超类分数 Sc(xl) 连接到特征图 F(xl) 上,然后进行子类分割。这种操作背后的直觉是,通过将预测的超类概率与特征图连接起来,网络能够利用超类分布的先验知识,并更多地关注学习细粒度特征,以便更好地区分子类
Separate Normalization:
直观地说,在监督学习中,给定足够的超类标签,超分类头倾向于减少同一超类内样本之间的特征距离,这与增加同一超类内子类之间距离的目标相冲突。为了缓解这个问题,我们的目标是增强同一超类内分布的内部多样性,同时保留超类之间的区分特征。为了实现这一点,我们提出了分离归一化(SN)来分别处理属于分层前景和背景的特征图,这些特征图被超类标签划分。由于超类和其中的子类共享相同的背景,因此分类器之间的原始冲突被转移到寻找将前景与背景分开的最优转换,使网络能够提取特定于类的特征,同时保持不同超类中的特征很好地分离
HierarchicalMix:
数据集中没有子类标签的每个样本 (x, y),我们将其与随机选择的精细标记样本 (x , y , z ) 配对
在 (x, y) 上执行随机旋转和翻转 T,并将原始样本和转换后的样本 Tx 输入到分割网络 f
接下来,我们采用图像混合,裁剪 x 中前景像素的边界框,调整其大小以匹配 x 中前景的大小,并在 x 上线性叠加 α 倍。
实验结果