2026.2.10
本研究提出了TTTSNet，一种为双胎输血综合征胎儿镜激光手术设计的实时、高精度的胎盘血管分割网络，通过引入新颖的通道注意力模块和多尺度特征融合机制，并结合创新的数据增强技术，显著提升了分割性能和泛化能力，为临床实践中的辅助决策提供了有力工具。
Title 题目
01
Real-time placental vessel segmentation in fetoscopic laser surgery for Twin-to-Twin Transfusion Syndrome
双胎输血综合征胎儿镜激光手术中胎盘血管的实时分割
文献速递介绍
02
双胎输血综合征(TTTS)是一种罕见但严重的妊娠并发症，影响约10%-15%的单绒毛膜双胎妊娠。该疾病由胎盘血管连接异常导致双胎间血流不平衡，若不治疗可能导致双胎死亡。胎儿镜激光光凝术(FLP)是治疗TTTS的标准方法，通过激光消融异常血管连接。然而，手术中胎盘血管的可见性差，常受羊膜囊内环境浑浊、图像分辨率低、胎儿或工具遮挡以及强光反射等因素影响，这使得准确检测和识别胎盘血管变得困难。现有研究多依赖体外图像或采用计算成本高的深度学习算法，不适合实时应用。FetReg2021数据集虽然促进了研究，但存在标注不一致问题。为解决这些限制，本文提出了TTTSNet，一个实时、计算高效的胎盘血管分割网络，并通过新颖的数据增强技术和多中心专家标注数据集来增强模型的鲁棒性和泛化能力。
Aastract摘要
02
双胎输血综合征(TTTS)是一种影响约15%单绒毛膜妊娠的罕见病症。胎儿镜激光光凝术(FLP)是TTTS的标准治疗方法，能显著提高胎儿存活率。然而，由于视野有限、可见性差以及患者和领域间的显著差异，FLP手术极具挑战性。为增强手术中胎盘血管的可视化，本文提出TTTSNet，一个专为实时精确胎盘血管分割设计的网络架构。该网络结合了新颖的通道注意力模块（MEDCAM）和多尺度特征融合模块（RFFM），以精确分割微小胎盘血管。为解决FLP特有的纤维内窥镜和羊膜囊相关伪影挑战，我们采用了创新的数据增强技术，模拟了激光指示器、羊膜囊颗粒以及结构和光学纤维伪影。通过在训练中加入这些模拟伪影，TTTSNet展现出强大的泛化能力。我们使用来自18项独立胎儿镜手术的2060帧视频公开数据集对TTTSNet进行训练，并在包含24项体内手术共2348帧视频的多中心外部数据集上进行评估。与最先进方法相比，TTTSNet的性能显著提升，所有胎盘血管的平均交并比（IoU）达到78.26%，微小胎盘血管子集的IoU达到73.35%。此外，该方法在A100 GPU和Clara AGX上分别达到了172和152帧每秒的速度，这有望实现手术过程中的实时应用。代码已公开。
Method 方法
03
本节介绍了我们提出的用于TTTS手术中实时胎盘血管分割的网络架构TTTSNet。该方法包含一个非对称编码-解码神经网络、特征融合模块和通道注意力机制。TTTSNet受到DABNet高效编码器和LMFFNet轻量级多尺度注意力解码器(MAD)的启发，通过提出的残差特征融合模块(RFFM)和最大池化通道注意力机制(MEDCAM)来提高微小血管的分割精度，并在不增加参数数量的情况下促进模型学习复杂特征。编码器由初始块、RFFM块和Split-Extract-Merge Bottleneck (SEM-B)块组成，旨在高效提取丰富和多尺度特征，并通过MEDCAM提高对微小血管的敏感性。RFFM通过残差连接提高训练效率。SEM-B通过扩大感受野提高特征提取效率。MEDCAM通过自适应最大池化和Squeeze Excitation (SE)块动态校准通道级特征，专注于重要通道信息。解码器采用轻量级MAD，以较少参数有效恢复空间细节。此外，研究引入了新颖的数据增强方法，模拟激光指示器、羊膜囊颗粒、纤维结构缺陷和光纤伪影，以提高模型对这些挑战的鲁棒性和泛化性。
Discussion讨论
04
本文提出的TTTSNet网络架构成功解决了FLP手术中胎盘血管分割的挑战。通过修改DABNet和LMFFNet的多尺度特征融合模块和注意力机制，TTTSNet在胎盘血管分割中展现出优越性能，mIoU达到78.26%，且推理速度达到150 FPS，有望实现实时交互式应用。本研究在迄今为止最大、最多样化的多中心数据集（包含来自六个欧洲机构的24个体内视频）上评估了方法的泛化能力。不同中心数据的分割性能差异可能源于外科医生经验水平、手术技术差异以及不同设备造成的图像采集质量差异。我们修正了FetReg2021数据集中像素级标注的不足之处，并发现基于修正标注进行训练可显著提高模型性能，这些修正标注也已向科学界公开。引入模仿激光指示器、羊膜囊颗粒、结构缺陷和光纤伪影的新型数据增强技术，显著提升了TTTSNet的鲁棒性和泛化能力。实验结果显示，分割性能与胎儿镜硬件质量相关，光学质量更高的设备（C和D中心）取得了最佳分割效果。TTTSNet在微小胎盘血管分割任务上表现出色，mIoU达到73.35%。模型在各种挑战区域和两种胎盘类型（前壁和后壁）上均表现良好，尤其在前壁胎盘病例中可见度更高。本工作存在的局限性包括未区分动脉和静脉、未分割其他结构以及缺乏对时间上下文的利用，这些将是未来研究方向。尽管存在这些限制，TTTSNet有望在实时胎儿镜手术中辅助外科医生精确识别关键结构，最终改善TTTS治疗效果。
Conclusion结论
05
本文提出了一种用于双胎输血综合征（TTTS）胎儿镜激光光凝术（FLP）视频中胎盘血管实时分割的网络架构TTTSNet。为了提高性能，我们开发了专门针对此任务的定制网络组件和数据增强技术。在大型多样化测试集上的实验表明，TTTSNet不仅在分割指标上准确，而且在对来自不同机构的数据集泛化能力方面表现出鲁棒性。此外，我们的方法展现出优于当前最先进方法的性能。未来，TTTSNet的使用有望在实时胎儿镜胎儿手术中辅助外科医生准确识别关键结构，并最终改善TTTS的治疗效果。
Results结果
06
消融研究证明了TTTSNet各关键组件和定制数据增强方法的有效性。基线模型（DABNet）的mIoU为67.54%，引入MEDCAM模块后mIoU增加2.41%，引入RFFM后mIoU增加2.68%，同时引入MEDCAM和RFFM后mIoU显著提高到73.08%。定制数据增强的消融研究显示，加入激光指示器增强使mIoU提升0.79%，逐步添加光学纤维、羊膜囊颗粒和结构缺陷增强后，mIoU分别进一步提升1.29%、1.6%和3.1%，最终使用所有增强方法后，mIoU比无增强时提升了5.18%，达到78.26%。MEDCAM模块的定性分析表明，它能有效强调粗细胎盘血管，并在存在伪影时保持鲁棒性。TTTSNet在包含六个中心数据的测试集上实现了78.26%的平均IoU，在微小胎盘血管分割上达到73.35%，并展现出最佳性能，比第二名FetReg top 1提升1.58%，且具有统计学意义（p<0.05）。模型在A100 GPU和Clara AGX上分别以171.59 FPS和154.11 FPS的速度运行。与FetReg2021挑战赛解决方案的比较也表明，TTTSNet在原始和修正标注数据上均优于基线方法及排名前五的方法。
Figure 图
07
图1. 双胎输血综合征（TTTS）胎儿镜激光光凝术（FLP）概述。图中显示了双胞胎胎儿，各自位于羊膜囊内。单绒毛膜双胎妊娠的特点是共享一个胎盘，通常存在血管连接，允许双胞胎之间进行血液交换。胎儿镜用于检查胎盘血管，并寻找导致血液交换不平衡的病理性连接。当识别出此类连接时，使用激光凝固它们。通常使用超声探头引导胎儿镜的插入。
图2. TTTSNet网络架构概述，用于双胎输血综合征（TTTS）胎儿镜激光手术期间的胎盘血管实时分割。TTTSNet设计为非对称编码-解码神经网络，接收三通道RGB输入图像并输出二进制分割图。在编码器部分，TTTSNet由初始块（Initial Block）、残差特征融合模块（RFFM）块和分割-提取-合并瓶颈（SEM-B）块组成，其中包括一种称为最大池化通道注意力机制（MEDCAM）的通道注意力机制。编码器部分允许以低计算复杂度和少量模型参数高效快速地提取上下文特征。在RFFM模块中，虚线前的符号表示残差连接，有助于模型学习复杂特征而无需增加模型参数。在解码器部分，我们使用轻量级多尺度注意力解码器（MAD）。MAD及其多尺度注意力机制，通过使用最少数量的参数，使解码器能够有效地恢复空间特征表示。
图3. 提出的RFFM保留了恒等函数，以帮助模型学习复杂特征而不增加模型参数数量。在RFFM-A中，我们将输入块特征的恒等路径与原始图像和初始块的拼接特征进行1×1卷积处理。在RFFM-B中，处理后的输入特征图与SEM-B的输出、下采样的原始图像、MEDCAM的输出以及输入特征图的残差连接进行拼接。虚线框中的SEM-B Block N包含(α+ 1)个SEM-B，其中N对应块1或块2。
图4. SEM-B结构的架构。SEM-B首先通过一个3×3卷积（Conv）来提取特征图并将输入通道数减半。此卷积的输出随后被分成两个分支，分别由深度可分离卷积（DConv）和深度空洞卷积（DConv(d)）组成。为了融合多尺度特征图，使用一个3×3卷积。在每次卷积操作后都应用批量归一化（BN）和PReLU激活函数。模块的输出将最后一个卷积层的输出与输入特征图的恒等映射进行拼接。N和⊕分别表示特征通道数和拼接操作。
图5. 提出的MEDCAM模块架构。我们全局和在分区特征图上使用自适应最大池化（AMP），以利用多尺度特征同时保留血管细节。通过学习的深度可分离卷积滤波器，对分区池化特征向量应用加权和，更加关注通道之间特定的空间分区。Squeeze Excitation（SE）块允许动态的通道级特征重新校准，从而产生有意义的通道注意力向量，最终应用于输入特征。MEDCAM利用通道注意力机制关注特定的特征通道，并捕获关于微小胎盘血管的重要信息。h、w、C、âŠ---分别表示特征图的高度、宽度、通道数和乘法。
图6. 定制数据增强的总结。每行展示了四种不同数据增强的示例，包括激光指示器、羊膜囊颗粒、结构缺陷和光纤伪影。图像左侧为输入图像，中间为真实伪影，右侧为人工伪影。
图7. 修正标注的示例：输入（左）、原始标注（中）和修正标注（右）。虚线圆圈强调了不准确的标注，箭头指出了标注不一致之处，例如超出视野范围或未贴合边缘的标注。第一行展示了一个未能填补空隙的标注。第二行强调了胎盘血管边缘描绘不准确的情况。第三行展示了羊膜囊颗粒伪影导致的血管不连续标注。第四行显示了遗漏的大胎盘血管。最后，最后一行展示了遗漏的小胎盘血管。
图8. 来自A中心和B中心训练集的代表性视频帧。每行展示从单个视频中提取的五个连续数据样本。总共展示了来自18项独立体内TTTS手术的90个视频帧。
图9. 来自四个中心（中心C至中心F）测试集的代表性视频帧。每行展示从单个视频中提取的五个连续数据样本。总共展示了来自24项独立体内TTTS手术的120个视频帧。
图10. MEDCAM模块对胎盘血管分割影响的定性比较。每行显示一个测试集示例。输入图像、真值、MEDCAM和无注意力模块的结果分别从左到右呈现。
图11. 在测试集上获得的我们提出的TTTSNet模型与几种最先进方法以及两种基于TTTSNet的配置的分割结果示例。GT是真值（Ground Truth）的缩写。TTTSNetâ˜...表示在FetReg2021挑战赛提供的原始像素级标注上训练的TTTSNet。图像按最佳总分从左到右排列。每行对应一个不同的视频，每列显示输入图像、真值、TTTSNet结果以及其他最先进方法的结果。
图12. 视频帧中可见度差的示例及其对应的胎盘血管叠加预测掩膜。第一行显示输入视频帧，第二行显示胎盘血管的叠加预测掩膜。在此，我们展示了基于深度学习的模型如何改善胎盘血管的可见性，以辅助胎儿外科医生进行TTTS胎儿镜手术。
图13. 两种胎盘类型（a）前壁和（b）后壁胎盘的视频帧示例。我们展示了前壁胎盘病例在视野内表现出比后壁胎盘病例更好的胎盘血管可见性，这影响了两种类型的分割性能。