A Learning-Driven Framework with Spatial Optimization For Surgical Suture Thread Reconstruction and Autonomous Grasping Under Multiple Topologies and Environmental Noises
Authors: Bo Lu, Wei Chen, Yue-Ming Jin, Dandan Zhang, Qi Dou, Member, IEEE, Henry K. Chu, Member, IEEE, Pheng-Ann Heng, Senior Member, IEEE, and Yun-Hui Liu, Fellow, IEEE
Source: 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) October 25-29, 2020, Las Vegas, NV, USA (Virtual)
摘要：
手术打结是手术中最基本、最重要的手术之一，高质量的打结可以显著有利于患者的术后恢复。然而，长时间的手术很容易使外科医生感到疲劳，尤其是在繁琐的伤口闭合任务中。在本文中，我们提出了一种基于视觉的方法来自动抓取缝合线，这是手术打结的一个子任务，也是缝合和循环操作之间的中间步骤。为了实现这一目标，获取缝合线的三维 （3D） 信息至关重要。为了实现这一目标，我们首先采用迁移学习策略，通过从现场设备获得的大量遗留手术数据和图像中学习信息来微调预训练模型。因此，无论固有的环境噪声如何，都可以实现稳健的缝合分割。我们进一步利用带有终止策略的搜索策略，基于对多种拓扑的分析进行缝合序列推断。可以获得沿缝合线的像素级序列的精确结果，并且可以使用我们优化的最短路径方法进一步应用于 3D 形状重建。考虑缝合标准的抓握点最终可以获得。对环境噪声下缝合二维分割和有序序列推断的实验进行了广泛的评估。通过V-REP中的模拟和使用优傲机器人（UR）和采用我们学习驱动框架的达芬奇研究套件（dVRK）的机器人实验，证明了与自动抓取操作相关的结果。
角质层伤口闭合的手术缝合/打结[7]是一项基本且重要的任务，但在微创手术（MIS）中，它仍然是一项具有挑战性的手术，例如用于低位直肠癌的内镜血管吻合术和经肛门全直肠系膜切除术（taTME）。现在，这项任务无需手动执行，而是可以通过3D可视化和EndoWrist设备，使用尖端的主从手术机器人（例如达芬奇机器人系统）进行远程和符合人体工程学的操作。然而，长时间的手术需要高度关注，并且很容易给外科医生带来疲劳。这可能会导致伤口闭合质量低下，甚至给患者带来额外的创伤。为了减轻外科医生的负担，人们付出了巨大的努力，将手术打结任务的每个标准步骤自动化，促进了基于视觉的自动化机器人手术的发展。
图 1.通过校准的立体视觉，可以使用我们的框架获得任意定向缝合线的 3D 坐标和抓取点，从而自动执行基于视觉的缝合抓取操作。
为了初始化手术结结，已经对自动缝合/穿孔任务进行了广泛的研究，涵盖了机器人缝合的协作硬件开发、手术工具语义分割、通过演示学习和监督学习进行任务规划和执行、刚性器械与软组织之间的相互作用分析研究领域。所有这些开创性的研究都为自动缝合任务中的棘手挑战提供了潜在的解决方案。然而，在伤口都是通过连续缝合缝合的,如果一针断裂，则整个缝合过程会损害患者的康复。为了克服这个问题，我们采用了间断缝合技术，其中缝合结应沿着手术伤口依次产生。基于上述工作，缝合线可以自动缝合软组织，为即将到来的打结任务奠定坚实的基础。此外，机器人可以自主学习缝合线循环任务的在线轨迹，并且在整个系统中集成了力控制器，以动态监控机器人的运动。然而，在使用间断缝合时，应切断线，因此，抓住切割线是实现全自动机器人打结任务的关键。
图 2.手术环境中缝合分割的培训工作流程。可以建立包含遗留手术数据和合成缝合线的离线数据集，并可用于预训练包含缝合线一般信息的专家模型fs。可以使用少量目标域数据方便地将其传输到新的在线方案。
针对这些挑战，本文提出了一个基于校准立体相机系统的视觉反馈的学习驱动框架，用于自动缝合抓取任务，如图1所示。
主要贡献是：
1）.为了提高手术环境中的分割性能，我们将达芬奇机器人手术的图像与合成缝合线相结合，并建立我们的数据集来训练离线模型，该模型学习手术缝合线的一般信息。使用一些在线图像，我们的模型可以快速适应当前条件，并为分割任务实现更高的性能;
2）. 为了计算任意方向缝合线的 3D 坐标，我们基于先前方法开发了一种新的成本函数和终止策略。使用这种升级的方法，缝合线的顺序（例如具有自交叉点或外部交叉点）可以完全获得两个相机帧;
3）.通过计算沿缝合线的所有像素对的3D位置，进一步构建了密集的3D顶点图，并使用优化的最短路径方法优化了其空间形状。因此，可以根据缝合标准定位所需的抓取点，进行自动抓取操作。
图 3.搜索策略的成本函数，用于对具有不同形状和交叉点的缝合线进行排序序列推断。使用我们的算法，在两个拓扑结构中，连接像素分别为
和
，它们彼此之间略有不同。
图 4.基于最短路径方法的自相交缝合线的空间形状优化，具有优化和复合边的权重。
图 5.（a）. 基于两个 dVRK 系统获得的 40 张测试图像，对 3 个不同模型的 IoU 和 F1 恐慌进行分割;（b）. 典型的分割结果。第1组采用手术模型，第2组采用彩色打印手术场景模拟复杂场景。
表 I 使用三种模型比较基于学习的缝合线分割性能。
图 6.在多种拓扑结构和变体条件下对缝合线进行排序序列推断的典型结果。
图 7.缝合线的 3D 重建和基于视觉的"抓取"。我们在 UR5 上安装了末端执行器，通过发送仪器尖端沿着缝合线的选定关键点来模拟抓取任务。采用不同的人造组织作为背景。
图 8.V-REP中的模拟缝合抓取。（a）. 使用点云网格的模拟环境图示和基于dVRK模型的模拟抓取过程;（b）. V-REP中构造缝合线的例子
表二 沿缝合线接近关键节点进行缝合"抓取"的实验结果-误差量，单位：mm
表三 沿缝合线接近关键节点进行缝合"抓取"的实验结果-误差量，单位：mm
图 9.基于深度学习驱动框架的 dVRK 系统中自动抓取缝合线的快照。
本文旨在解决缝合任务中断期间自动缝合抓取的技术挑战。我们的框架中利用了一种深度学习模型，该模型将大量遗留手术数据的信息传输到在线获取的图像中，用于现场环境噪声下的缝合段。基于这一结果，我们进一步提出了一种在立体图像中排序序列推断的算法，从而可以通过空间形状优化器获得指定缝合线的三维坐标。利用这种新颖的框架，可以实现自动抓取操作的抓取点。我们广泛评估了分割性能，将我们的微调模型与通过传统手术数据和有限的在线图像训练的模型进行了比较。我们提出的方法获得了最高的 IoU 和 F1 分数，分别为 71.1% 和 97.5%。此外，还列举了多种拓扑结构下缝合排序序列推断的典型测试。通过将UR5机器人与双摄像头系统集成，对沿构建缝合线接近关键点进行了实验，以利用整体计算精度，5个测试集的平均误差均在2.3mm以下。我们还通过VREP中的仿真和dVRK系统中的机器人实验证明了整个框架的可行性。通过解决缝合感知中的关键问题，可以得出结论，我们的框架可以提供可靠的指导，以在缝合操作中实现更高水平的辅助任务自主性。
Reference
[1] Lu, B., Chen, W., Jin, Y. M., Zhang, D., Dou, Q., Chu, H. K., ... & Liu, Y. H. (2020, October). A learning-driven framework with spatial optimization for surgical suture thread reconstruction and autonomous grasping under multiple topologies and environmental noises. In 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS) (pp. 3075-3082). IEEE.