5.1.5 Robotic Manipulator‐Assisted Omnidirectional Augmented Reality for Endoluminal Intervention Telepresence
Key Words : Field-of-view (FoV) control, robotic laparoscopy, medical robots and systems.
Authors : Bin Li , Graduate Student Member, IEEE, Yiang Lu , Graduate Student Member, IEEE, Wei Chen , Graduate Student Member, IEEE, Bo Lu , Member, IEEE, Fangxun Zhong , Member, IEEE, Qi Dou , Member, IEEE, and Yun-Hui Liu , Fellow, IEEE
Source : IEEE ROBOTICS AND AUTOMATION LETTERS, VOL. 9, NO. 2, FEBRUARY 2024
摘要: 在微创手术中，自动化腹腔镜视野（FoV）控制面临挑战，因为现有解决方案未能满足不同阶段的动态手术FoV要求，并忽视了控制过程中的错位效应或潜在障碍物，引发了安全问题。 本文中提出了一种基于高斯混合模型（GMM）的启发式决策框架，可以实现安全的自动腹腔镜控制，为外科医生提供阶段特定的要求。 利用GMM来拟合仪器分布的领域知识，制定了一个通用的非线性约束最优控制模型，以优化腹腔镜运动。 为了克服原始非线性优化求解器耗时的问题，首先采用解耦方法来控制远程运动中的错位，并提出了一种新的启发式决策算法，以实时预测最佳目标和未来轨迹，同时确保有效的碰撞避免。 此外，还开发了一个统一的基本运动控制器，用于FoV控制，适用于机械/软编程的远程运动中心（RCM）手术机器人系统。 在手术dVRK平台和通用UR5机器人腹腔镜系统上进行了广泛验证，证明了安全自动腹腔镜控制框架的可行性、多功能性和优越性，基于外科医生记录的临床视频提供个性化视图。
1. 研究背景
手动腹腔镜控制存在操作者疲劳和协调问题，导致视野（FoV）不佳和手术效率低下，因此自动化腹腔镜控制引起了重要关注。外部信号（例如，外科医生的注视，踏板界面和语音命令）被用于控制腹腔镜，但可能会增加外科医生的工作负担和分心。相反，来自正在进行的手术操作（例如，仪器）的内部信号与外科医生的注意力保持一致，从而使外科医生能够专注于手术。为了提高自动视野控制的智能性，最近关注的焦点是基于数据驱动的决策方法，可以根据在线手术场景理解生成最优动作，以提供外科医生期望的视野。
安全性是机器人手术的关键方面，包括视野方向错误组织碰撞等关键因素。 视野方向错误问题是指当摄像机的视线偏离外科医生直接观察腹部时，影响外科医生直观操作的情况。 当腹腔镜在远程运动中心（RCM）约束下操作时，这个问题可能会更加明显。碰撞避免是外科手术安全的另一个关键考虑因素，特别是当组织容易受到压碎损伤时。 目前的研究主要集中在器械操作领域。然而，在视野控制领域的现有研究并没有全面解决上述的视野方向错误或碰撞问题，这引发了安全担忧并阻碍了它们的临床应用。
2. Methodology
为了实现目标，首先从历史视频中提取和编码领域知识，作为外科医生的偏好参考。 然后，我们提出了一个通用的非线性控制优化目标，用于直观的腹腔镜控制。最后，提出了一个实时的启发式决策算法，以在安全约束下实现最优控制目标。 整体框架如图1所示。
图1. GHLC框架概述。 基于YOLO的网络与立体匹配相结合，用于跟踪仪器像素位置和相应的深度，从而初始化动力学投影模型。 通过启发式搜索进行决策，确定最优目标和轨迹。最终，通过直观的运动基元控制器，使用最佳动作和间歇性判断来控制机器人腹腔镜。
A. 领域知识编码
传统的基于规则的方法不足以满足整个手术过程中视野需求的多样性。为了解决这个限制，利用外科医生对仪器分布的偏好作为视野控制的领域知识（DM）。 在这里，从内部子宫切除视频中统计提取了7.2k个图像，并从中提取了DM。关于深度控制的领域知识编码，使用基于立体匹配过程静态分析深度分布。 研究结果表明，深度分布在不同的手术阶段呈现出一致的模式，因此采用统一的高斯分布 p ( d ) ∼ N ( μ d , σ d 2 ) p(d) ∼ N(μd, \sigma d^2) p(d)∼N(μd,σd2)来近似深度领域知识。
B. 一般控制问题的形式化
控制目标是优化腹腔镜的运动 V t = [ v x , v y , v z , ω z ] T ∈ R 4 Vt = [vx, vy, vz, ωz]ᵀ ∈ R^4 Vt=[vx,vy,vz,ωz]T∈R4，以最大化当前仪器分布与相应的 DM 之间的相似性，同时满足工作空间约束并保持稳定。基于针孔相机模型，仪器的整体偏移和仪器的预期位置可以得到如下关系，并得到最优控制约束优化问题。
为了解决这个限制，我们引入了一种解耦控制策略，并提出了一种启发式决策算法，可以在上述约束条件下高效确定 Vt，并进一步解决障碍以增强安全性。
图2. 错位和其校正过程的示意图：坐标轴x0, y0表示视线的方向，坐标轴 xi, yi表示在RCM约束下进行视野控制后的方向，无调整。坐标轴 x∗i, yi∗表示进行调整的方向。
C. 具有解耦策略的启发式决策算法
1.解耦直观控制：为了解决非线性错位约束在推断最优 Vt时所带来的挑战，提出了一种解耦控制策略，实时计算角速度 w z w_z wz以补偿瞬时线速度引起的错位， c v c = [ v x , v y , v z ] T ∈ R 3 ^cv_c= [v_x, v_y, v_z]ᵀ ∈ R^3 cvc=[vx,vy,vz]T∈R3满足零错位条件，从而消除了优化的需求，如图2所示。具体来说，利用初始的X轴参考0 作为从T参考0 获取的自然视线（NLS）方向的参考，并通过正向运动学（FK）和手眼标定 eT c计算当前腹腔镜姿态，然后计算相应的直观姿态。
2.碰撞建模：组织与前置摄像头以及腹腔镜轴之间的碰撞引起潜在的安全问题。我们引入了一个轴-障碍物类型来解决这个问题。用 Plücker 坐标表示腹腔镜轴的三维姿态为 (l, m)。
图3. 左：dVRK平台。 右：机器人腹腔镜系统。
3.启发式搜索决策制定：为了生成实时可行的视野控制轨迹，我们提出了一种基于最优启发式搜索（OHS）的A*算法，它具有快速探索能力，并能有效处理潜在的碰撞。由于传统的轨迹规划方法是针对已知目标设计的，无法满足我们的要求。因此，我们利用领域知识构建启发式函数，并通过回溯找到未知目标环境中的最优目标和轨迹，同时最小化累积路径成本。
D. 在RCM约束下的运动基元控制
为了在不同的外科手术机器人系统（例如，具有机械/软RCM机构的dVRK/UR5）中实现普适部署，并同时控制
误差角度 θ ∗ θ^∗ θ∗和最优瞬时速度 c v c ^cv_c cvc，开发了一个统一的运动基元控制器。 具体而言，首先使用一个零空间控制器实现解耦的直观控制，并将 c v c ^cv_c cvc在RCM坐标系中转换为目标速度 [ r v r ( t ) T , r ω r ( t ) T ] T ∈ R 6 [^rv_r(t)ᵀ,^rω_r(t)ᵀ]ᵀ ∈ R^6 [rvr(t)T,rωr(t)T]T∈R6。 然后将该速度在基坐标系中转换为末端执行器速度 [ b v e ( t ) T , b ω e ( t ) T ] T ∈ R 6 [^bv_e(t)ᵀ,^bω_e(t)ᵀ]ᵀ ∈ R^6 [bve(t)T,bωe(t)T]T∈R6。
3.实验与结果
为了评估不同机器人平台（机械/软性RCM）下的视野控制性能，使用模拟/真实的dVRK平台（机械）和机器人腹腔镜系统（软性），如图3所示。机器人腹腔镜系统由一个附着在6自由度UR5末端执行器上的3D Kalstroz腹腔镜和两个常用工具（即LigSure和夹持器）组成，用于子宫切除术。
图4.在典型情况下，通过与代表性传统方法在控制轨迹长度和运行时间方面的实验比较。
图5.(a)1表示初始视图，而2-4是使用基于中心/区域和我们提出的方法进行调整的视图。(b)1~2对应于具有权重ws=[1.0,1.0]和ws=[0.2,1.8]的不同控制行为。
图6. 障碍场景中的自动视野控制
图7. GHLC框架在动态场景中进行自动化视野控制的结果：(a) 针刺，和 (b) 缝合。 © 左：环传递任务设置和相应的屏幕截图。 右：最优成本（opt），当前成本（cur），相应的改进（imp）以及PSMs尖端深度在整个远程操作过程中（阴影区域表示激活的自动化视野控制过程）。
图8. GHLC框架在(a)外科dVRK系统和(b)一般机器人腹腔镜系统中进行了真实世界实验：(左)最优成本(opt)，当前成本(cur)，相应改进(imp)，整个过程中的错位和RCM误差(阴影区域表示激活的自动化视野控制过程)。 (右)典型的实验设置和相应的视野截图。
图9。 真实世界的避障实验：(a) ECM运动轨迹的第三视图。 (b) 平行侧视图和视野截图。
Reference
1\] Li, B., Lu, Y., Chen, W., Lu, B., Zhong, F., Dou, Q., \& Liu, Y. H. (2024). GMM-based Heuristic Decision Framework for Safe Automated Laparoscope Control. IEEE Robotics and Automation Letters.