【论文阅读笔记】Sam3d: Segment anything model in volumetric medical images[

Bui N T, Hoang D H, Tran M T, et al. Sam3d: Segment anything model in volumetric medical images[J]. arXiv preprint arXiv:2309.03493, 2023.【开源】

本文提出的SAM3D模型是针对三维体积医学图像分割的一种新方法。其核心在于将"分割任何事物"（SAM）模型的预训练编码器与一个轻量级的3D解码器相结合。与传统的逐层处理不同，SAM3D能够在整个体积上处理图像，更有效地捕捉切片间的深度关系，同时维持模型的简单性和计算效率。

主要特点包括：

1. 预训练的SAM编码器：该编码器在大规模数据集上预训练，能够提取出鲁棒的低级特征，如边缘和边界，这些在不同的图像域中都有相关性。

2. 去除了SAM中的prompts Encoder：因为解码器必须处理 3D 体积数据，所以不能使用 SAM 的掩模解码器，它是专门为 2D 自然图像设计的

3. 轻量级3D解码器：为了处理3D体积数据，SAM3D提出了一个适当的3D解码器。这个解码器由四个3D卷积块和一个分割头组成，通过跳跃连接实现，有助于在保持模型简单的同时提高分割性能。

   

4. 处理方式：SAM3D通过先将3D体积图像分解为2D切片，然后通过预训练的SAM编码器处理每个切片，生成3D切片嵌入。这些嵌入被3D解码器进一步处理，以捕获切片间的深度关系。

5. 损失函数：模型训练使用了组合损失函数，包括dice loss和cross-entropy loss，以优化分割性能。

6. 实验结果：通过在多个医学图像数据集上的实验，只需要单2080TI GPU，SAM3D显示了与当前最先进的3D神经网络和基于Transformer的模型相当的性能（其实弱很多），同时在参数数量上大大减少。