Lifespan Brain MR 图像分割的知识引导式提示学习

文章目录

• [Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation](#Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation)
• • 摘要
  • 方法
  • 实验结果

Knowledge-Guided Prompt Learning for Lifespan Brain MR Image Segmentation

摘要

背景： 在整个生命过程中，对脑部MR图像进行自动且精准的组织与结构分割，对于理解脑发育过程和疾病诊断至关重要。然而，由于早期脑发育的快速变化、衰老及疾病导致的复杂形态变异，以及手动标注数据的有限性，该任务面临诸多挑战。

目的： 针对这些问题，提出了一种基于知识引导提示学习（KGPL）的两步分割框架，以提升脑部MRI分割的准确性和鲁棒性。

方法： 该框架首先在大规模但标注质量欠佳的数据集上预训练分割模型，随后将从图像-文本对齐中学习到的知识驱动嵌入引入模型。通过知识感知提示（knowledge-wise prompts），模型能够捕捉解剖变异与生物过程之间的语义关系，从而学习适用于不同年龄群体的结构特征嵌入。

结果： 实验结果表明，该方法的优越性和鲁棒性尤为突出，特别是在采用Swin UNETR作为主干网络时表现最佳。该方法在脑组织和脑结构分割任务上的平均DSC值分别达到95.17%和94.19%。代码已公开，链接为 https://github.com/TL9792/KGPL。

方法

图 1. 将知识引导的提示学习 （KGPL） 用于整个生命周期的脑部 MRI。上半部分显示了源域上的视觉预训练，下半部分显示了预训练模型的细化，并在目标域上提供了知识提示。采用从源域学习的权重来初始化目标域的模型，在冻结编码器的同时仅更新可学习的参数和解码器。

实验结果