基于仿真的脑部三维OCTA图像血管分割
摘要:对小鼠脑部三维光学相干断层扫描血管成像(3D OCTA)中的血管进行分割,是体内定量分析中风或阿尔茨海默病等神经血管疾病对血管网络影响的基础。然而,要利用当前最先进的深度学习方法实现精确的血管分割,通常需要大量体素级别的标注数据。由于脑部3D OCTA图像通常存在严重伪影且信噪比较低,人工标注工作尤为繁琐耗时。为减轻对人工标注的依赖,我们提出利用合成数据来监督分割算法 。具体而言,我们从真实血管图中提取局部片段,并通过模拟3D OCTA中最主要的成像伪影,将其转化为具有对应真实标签的合成脑部3D OCTA图像。在大量实验中,我们证明了所提方法能够取得具有竞争力的分割性能,从而实现无需人工标注的脑部3D OCTA血管分割。
关键词:3D OCTA分割 · 血管 · 合成数据
1 引言与动机
光学相干断层扫描血管成像(OCTA)是一种高分辨率成像技术,通过检测由红细胞运动引起的背向散射信号的时间变化来捕捉血流信息,从而生成血管图像。该技术能够提供体内三维(3D)血管结构图像,包括微小的毛细血管,并可与多普勒OCT结合以获取血流信息。这种高分辨率、体内血管成像与血流映射的结合,使研究人员能够监测脑血管动态,从而深入理解中风或阿尔茨海默病等神经血管疾病的病理机制。
对3D OCTA图像的自动化分析通常以血管分割作为初始步骤,这是后续高级血管分析的基础。目前,血管分割几乎完全依赖于有监督的深度学习方法,这些方法需要大量由专业人员手动标注的数据集。然而,在3D OCTA图像的背景下,由于图像中普遍存在显著的成像伪影 ,且密集连接的毛细血管网络要求在三维空间中保持体素级别的一致性标注,人工标注变得极其困难。此外,不同OCT系统设计和采集协议的高度差异性也限制了标注数据的跨平台泛化能力,导致监督方法难以适应不同设备产生的图像。因此,大多数现有方法选择放弃分析完整的3D OCTA图像,转而使用二维投影(en-face)图像,从而丢失了对全面分析至关重要的三维结构信息。
鉴于目前缺乏大规模标注的脑部3D OCTA数据集,同时为应对OCTA图像特性高度可变的挑战,我们提出了一种可灵活适配的合成数据生成流程,能以较低成本生成大量合成图像。具体而言,我们首先将来源于真实小鼠血管网络的血管图 转换为体素化的三维体积 ,保留其关键的形态学特征;随后,我们通过模拟3D OCTA中最主要的成像伪影对该体素化体积进行修饰,从而生成逼真的合成脑部3D OCTA图像 ,并以其原始未修饰的体素化体积作为精确对应的真值标签。接着,我们利用所生成的合成数据集训练分割网络,从而在无需人工标注的前提下获得准确的血管分割结果。
我们的核心贡献简要总结如下:
- 通过生成大量带有精确真值标签的合成脑部3D OCTA图像,解决了人工标注缺失的问题。
- 识别出 投影伪影、角度相关的信号衰减以及局部颗粒状噪声模式是脑部3D OCTA图像中最主要的三类伪影 ,并在仿真中对其进行了合理建模。
- 证明了所提出的基于仿真的分割方法能够实现准确、无需人工标注的脑部3D OCTA血管分割。
- 针对OCT系统设计和采集协议的高度可变性,提出了一种可针对具体数据进行快速适配的合成流程。
- 开源了我们的代码、合成数据集以及人工标注的真实OCTA图像,为脑部3D OCTA血管分割研究提供基准资源。
2 相关工作
3D OCTA分割 :由于缺乏人工标注,3D OCTA分割的研究仍处于起步阶段。在研究更为充分的视网膜OCTA图像领域,已有部分工作尝试了从3D到2D的分割、从2D到3D的分割,以及借助辅助的毛细血管增强模态进行无监督的3D到3D分割。然而,脑部3D OCTA图像与视网膜3D OCTA图像存在显著差异,因此针对视网膜OCTA开发的技术难以直接应用于脑部场景。近期有研究选择在人工标注的小鼠脑部3D OCTA体积数据上训练3D卷积神经网络以分割脑血管。但该网络是在其自研OCT系统采集的数据上训练的,因此难以泛化到其他OCT系统采集的图像。在本工作中,我们通过在可调节参数以匹配目标OCTA图像特性的合成脑部3D OCTA图像上进行训练,有效解决了这一泛化问题。
基于仿真的血管分割:近年来,合成图像已被成功用于多种二维医学成像模态中的血管分割算法训练。在OCTA领域,有研究提出了基于生理学的模拟器,用于生成合成的视网膜二维en-face投影图像;后续工作进一步改进了视网膜血管的模拟精度,从而提升了合成图像的质量。然而,上述方法均未针对3D OCTA图像及其特有的伪影进行专门设计。此外,这些方法通常依赖人工分形结构或易出错的视网膜血管模拟器来生成真值标签。相比之下,我们的方法专为脑部3D OCTA图像设计,并利用从小鼠真实血管网络中提取的血管图,保留了真实的血管构筑特性,从而生成高质量的真值标签。
图1. 我们所提出的合成小鼠脑部3D OCTA图像的三维渲染效果。
3 方法
我们提出的方法分为三个阶段:体积生成、伪影仿真和分割(见图2)。以下将依次描述这三个阶段。
1)体积生成 :
体积生成阶段依赖于血管图 G:=(V,E),其中节点集合 V 代表血管分叉点或曲率较大的位置,边集合 EE 代表血管段。节点由其在三维空间中的 xx、yy、zz 坐标定义,而边则连接两个节点,并仅包含该血管段的半径信息 rr,因此血管呈现为管状结构。在本工作中,我们使用小鼠全脑血管腐蚀铸型的图表示,这些数据能够精确保留从大血管到最细毛细血管的完整脑血管结构(见图2)。
我们以网格化方式对这些血管腐蚀铸型进行采样(见图4a),提取局部片段,作为仿真的基础 。我们特别注意仅选取那些视场(FOV)和血管特征与真实小鼠脑部3D OCTA图像相匹配的片段。具体而言,我们根据以下标准剔除不符合要求的片段:
1)片段来源于现代OCT系统难以成像的深层脑区(深度 > 3 mm);
2)片段中血管稀疏(血管数量少于2000条);
3)片段中不含较大血管(半径 r≤13 μmr≤13μm)。
为将提取的血管图片段转化为体素化体积,我们首先绘制血管中心线,随后进行三维二值形态学膨胀操作。此外,我们还为每个体素存储元数据,包括其所属血管的半径 rr 以及该血管与z轴之间的最小夹角 θzθz。最终,我们从六个全脑血管腐蚀铸型中共生成了1,137个体素化体积,体素各向同性,尺寸为2 µm,体积大小为 250×250×250。
2)伪影仿真 :
我们识别出投影伪影、角度相关的信号衰减以及局部颗粒状噪声模式是小鼠脑部3D OCTA图像中最主要的三类伪影,并在生成的体素化体积中对其进行仿真建模。下文简要介绍这些伪影及其在算法中的实现方式(详见补充材料中的算法1)。需要强调的是,我们的仿真仅依赖少量参数,可在数分钟内调整以匹配目标OCTA图像的特性(参见补充材料图7)。合成图像的二维切片如图3所示,三维渲染效果见图1。
投影(或尾部)伪影 :
OCTA通过检测红细胞引起的单次背向散射光子来估计血管深度 。然而,入射光子在红细胞和深层组织之间发生多次前向与后向散射,会人为延长光子路径长度,导致深度估计错误,在血管下方形成伪影(见图3)。这类伪影被称为投影伪影或尾部伪影,会遮蔽大血管下方的真实信号并扭曲血管的管状形态,从而影响血管定量分析的准确性。我们在仿真中(见算法1第16行)采用几何级数形式的指数信号衰减来模拟这一过程,以反映多重散射的物理本质。伪影的长度和初始强度主要由对应血管的半径 rr 决定,因为多重散射事件的数量与局部红细胞浓度密切相关。最后,我们在模拟的尾部伪影上叠加随机高斯噪声,以更准确地再现多重散射的随机性。
角度相关的信号衰减 :
在3D OCTA图像中,微血管(如毛细血管)的信号强度强烈依赖于其相对于光束方向(z轴)的取向。研究表明,这源于微血管中红细胞沿流动方向纵向拉伸,以及红细胞背向散射对取向的依赖性。具体而言,当红细胞沿光束方向(即平行于z轴)流动时,其有效散射截面显著小于垂直流动的情况,导致平行于光束的微血管在OCTA图像中几乎不可见。为模拟这一现象,我们根据血管与z轴夹角 θzθz 偏离90°的程度,对信号进行指数衰减(见算法1第8行)。该衰减模型基于Zhu等人关于红细胞背向散射比与血管取向关系的实验研究。在仿真中,我们引入一个Sigmoid函数作为微血管与大血管之间的软阈值,使角度依赖效应平滑过渡,避免信号衰减的突变。
局部颗粒状噪声模式 :
此外,我们还模拟由微弱残余运动、亚细胞运动、自发神经元活动及系统噪声引起的局部颗粒状噪声和强度波动。为此,我们在整个合成图像中添加高斯噪声,随后进行高斯平滑处理(见算法1第21行)。
3)分割:
我们将生成的1,137个合成小鼠脑部3D OCTA图像与其对应的未修改二值体素化体积(作为真值标签,见图2蓝色部分)配对,以监督方式训练一个现成的深度学习分割网络 SS。在推理阶段,将训练好的分割网络应用于真实的小鼠脑部3D OCTA图像。
图2. 所提方法概览。首先,从血管图中提取局部片段并转化为大量体素化体积;其次,通过模拟最主要的成像伪影,将这些体素化体积转化为合成的脑部3D OCTA图像;最后,利用合成图像及其精确对应的真值标签训练分割网络。
图3. 真实(上)与合成(下)小鼠脑部3D OCTA图像的切片对比。值得注意的是,我们精确复现了3D OCTA特有的伪影,使得合成图像几乎无法与真实图像区分。
图4. a) 血管腐蚀铸型图表示中采样片段的可视化;b) 示例性人工标注,包括用于评估不同尺度血管分割性能的区域划分(全部、小血管、大血管)。
4 实验与结果
为评估所提方法,一名经过训练的专家耗时六个月,对六个体积为160×160×160、体素各向同性(2 µm)的小鼠脑部3D OCTA图像进行了人工标注。这些OCTA图像来源于多个涉及不同小鼠的实验,并由我们自建的OCT系统采集。我们将标注数据划分为三组测试体积、一组验证体积,以及两组用于训练性能上限模型的体积(见表1a)。由于3D OCTA图像包含多种尺度的血管,而不同尺度的血管受特定伪影的影响程度不同,我们进一步划分出主要包含微血管(小血管)和大血管(大血管)的区域(见图4b),以评估算法在不同尺度血管上的分割性能(见表1)。
我们采用Dice系数和拓扑感知的中心线Dice(clDice)指标,分别衡量算法在保留血管管状形态和连通性方面的准确性。分割网络S选用3D U-Net架构,并在其验证集上进行超参数调优。
首先,我们将基于所提出合成数据训练的U-Net(见表1c)与以下方法进行比较:(1) 在真实人工标注数据上训练的相同U-Net(见表1a);(2) 传统的无监督分割方法(见表1b)。定量结果表明,仅使用合成数据训练的U-Net能够准确分割3D OCTA图像中的血管网络,在无需任何人工标注的前提下取得了具有竞争力的性能。该模型不仅在所有指标上显著优于传统方法,甚至优于在另一套OCT系统采集的真实标注数据(尺寸为154×154×77)上训练的U-Net。尽管我们已确保该外部数据集的关键属性(如体素尺寸和强度范围)与本研究使用的OCT系统相匹配,但其训练模型仍表现出较差的泛化能力。相比之下,通过调整合成图像生成过程中的仿真参数以适配我们的OCT系统,所提方法的性能几乎达到上限模型的水平。这一差距与相关文献中的观察结果一致。
接着,我们通过逐步引入三类仿真伪影 ------局部颗粒状噪声(L)、尾部伪影(T)和角度相关的信号衰减(A)------来分析各类伪影对分割性能的影响( 见表1d与c;对应三维渲染见图2)。结果表明,每类仿真伪影均能带来显著的性能提升。例如,尾部伪影在较大的软脑膜血管中尤为明显,其引入显著提升了大血管的分割性能;而角度相关的信号衰减主要影响微血管,因此更有效地提升了小血管的分割效果。
此外,我们还进行了关于血管曲率建模的消融实验,即通过弹性形变引入额外的曲率变化(C)(见表1e)。尽管我们推测合成血管与真实血管之间最大的剩余差异可能在于曲率(见补充材料图6),但引入额外形变并未提升分割性能,这反过来验证了将血管建模为管状结构的合理性。
最后,我们评估了底层血管图来源的影响。为此,我们将基于真实小鼠血管腐蚀铸型构建的血管图替换为模拟动脉树(SAT)(见表1f及补充材料图6)。由于模拟动脉树无法准确复现脑血管的形态学特征(例如缺少较大的软脑膜血管),分割性能明显下降,尤其体现在大血管上。
定性结果也支持上述结论(见图5)。值得注意的是,我们认为基于合成数据训练的U-Net(右侧)可能更准确地捕捉了血管的真实形态,因为其真值标签源自真实的血管结构,不受人工标注者主观偏差的影响。具体而言,我们发现人工标注的毛细血管普遍存在"膨胀"现象(见补充材料图6),这或许可以解释为何在小血管上定量指标(表1a vs. c)与视觉效果存在差异。图5中的分割结果进一步佐证了这一假设:由我们方法分割出的毛细血管显得更为纤细、自然。
表1. 在测试集上的定量结果:
a) 在真实人工标注数据上训练的U-Net;
b) 传统分割方法;
c) 在我们合成的3D OCTA数据上训练的U-Net;
d) 关于仿真伪影的消融实验;
e) 关于血管曲率建模的消融实验;
f) 关于血管图来源的消融实验。
所有结果均基于四个随机种子(0--3)计算均值与标准差。
图5. 定性结果对比。基于合成数据训练的U-Net(右侧)能够准确分割血管结构,有效避免了繁琐的人工标注过程。
5 结论
在本研究中,我们成功提出利用合成的小鼠脑部三维OCTA图像进行血管分割,以克服真实标注数据严重匮乏的问题。同时,针对不同OCT系统设计与采集协议高度可变、导致跨设备标注数据难以复用的挑战,我们提出了一种可快速适配目标数据的合成流程,仅需少量调整即可匹配特定OCT系统的成像特性。
所提出的方法不仅显著节省了人工标注所需的时间(在本研究中,专家耗时六个月完成标注),还消除了标注者主观偏差的影响------因为我们合成图像的真值标签源自真实小鼠血管腐蚀铸型所保留的解剖结构,具有客观性和生物学真实性。
我们鼓励未来的研究工作开发面向3D OCTA特性的专用分割网络,或**引入基于图结构的后处理步骤,以进一步提升血管连通性的重建质量。**通过开源我们的代码、合成数据集以及人工标注的真实OCTA图像,我们希望为该领域提供可靠的基准资源,推动技术进步,最终实现对神经血管疾病(如中风或阿尔茨海默病)所致血管网络变化的大规模定量分析。
图6. 真值标签对比。所有标签的体素尺寸均约为2 µm。我们将人工标注(左)与实验中使用的合成数据真值标签进行直接比较,发现人工标注中的毛细血管普遍呈现"膨胀"现象,表明存在标注者特有的主观偏差。图中还展示了弹性形变对血管曲率的影响(simLTAC),以及由模拟动脉树(simSAT_LTA)与血管腐蚀铸型(simLTA)生成的标签在形态学上的差异。
图7. 调整仿真参数的效果示例。例如,通过增大尾部长度因子 α_tail_len(第一行),可以延长投影伪影的长度,以适应不同的光束几何结构或无外源性造影剂的情况;而调节 σ_n(第二行)则可控制局部颗粒状噪声的强度。这种灵活性使我们的方法能够有效应对OCT系统设计和采集协议的高度多样性。
图8. 脑部与视网膜3D OCTA图像切片对比。两类图像不仅在血管形态上存在显著差异,在信噪比、视场(FOV)和体素尺寸等基本成像特性上也截然不同。图中所示的视网膜3D OCTA图像来自OCTA-500数据集。
算法1 伪代码:脑部3D OCTA成像伪影仿真