Title
题目
Guided ultrasound acquisition for nonrigid image registration usingreinforcement learning
基于强化学习的用于非刚性图像配准的引导式超声采集
01
文献速递介绍
超声成像通常用于引导手术和其他医疗程序，在这些过程中，临床医生会持续手动采集二维（2D）超声图像。这些在术中采集的超声图像，通常在三个方面较为稀疏：（1）它们不像磁共振（MR）和计算机断层扫描（CT）等其他体部医学图像那样在规则的网格位置上进行采样，切片之间的间隔是可变的；（2）在没有外部空间跟踪的情况下，这些图像之间的相对位置是未知的；（3）它们只覆盖有限的区域，并且感兴趣区域（ROI）很可能不完整，例如存在使用该成像方式无法看到的缺失特征，或者只显示了某个结构（如器官）的一部分。 在这项工作中，我们专注于开发一种机器学习方法，以在超声图像与三维（3D）体部术前CT图像配准的特定背景下，克服上述挑战。当前最先进的方法，由于超声图像的稀疏性以及可用于对齐的信息有限，在配准准确性方面往往存在不足。特别是，我们认为可以利用超声采集的交互性来解决上述挑战。在此背景下，使超声采样成为所学习的配准算法的一个组成部分，可能是提高这种配准类型准确性的关键，但到目前为止，这方面的研究和阐述还很有限。 一堆超声图像与体部术前图像（如3D CT图像）之间的空间对齐，在一些临床场景中是很有用的。例如，在超声图像引导的介入手术过程中，跟踪术前图像中确定的肿瘤位置（德拉科波洛斯和克里索霍伊季斯，2016年；古亚等人，2010年；埃尔哈瓦里等人，2010年），或者在术中超声成像时，相对于术前采集的更大视野（FOV），在通常较小的体积中定位感兴趣区域，以用于术中导航（胡等人，2012年；阿明等人，2003年；温等人，2008年；彭尼等人，2004年）。 体部图像被定义为在单个图像坐标系中定义了体素位置的3D图像，在这里是术前CT图像，其强度值是从规则的网格位置采样得到的。在这种情况下，如果超声图像能够被重建为体部图像，那么配准就变成了一个"体对体配准"问题。无论是否使用外部跟踪器（托马热维奇等人，2005年；黑尔德曼等人，2010年；海塞尔曼等人，2020年），徒手超声图像的3D重建可能会遇到一些问题，比如需要优化重建参数或者处理不完整的信息。现有的图像配准方法主要集中在体对体配准（比利亚隆等人，2011年；汤姆森等人，2020年），最近也出现了基于机器学习的算法以提高效率和准确性（陈等人，2021年）。大多数方法仍然只适用于特定的感兴趣应用，而一个适用于更广泛问题的通用解决方案仍然是一个活跃的研究领域。 "体对切片配准"问题也得到了研究，部分原因是二维图像之间的相对位置未知，在这种情况下，每个二维超声图像通常是独立地与体部图像进行对齐（费拉ante和帕拉吉奥斯，2017年）。超声图像坐标和体对切片变换都是在3D空间坐标系中定义的，因此二维超声图像被称为图像"切片"。 将其表述为一种机器学习方法时，体对切片配准可以从多个相邻图像作为输入中受益，并且还可以联合预测多个切片（2D图像）与体部图像之间的变换（费拉ante和帕拉吉奥斯，2017年）。为了清晰起见，本文将这种情况称为"体对堆配准"，其中一系列连续采集的图像被称为一"堆"切片。体对堆配准与先进行3D重建的方法之间的区别在于，二维图像之间的相对位置是事先独立估计（先重建的方法），还是隐含地处理（体对堆方法）。 ### 1.2 变形的约束不足估计 虽然一般来说，体对体配准在估计非刚性变形方面是一个不适定问题，但正是由于需要额外估计单个切片与体部图像之间的3D变换，使得体对堆配准可以说受到的约束更少。这种约束的缺乏促使大多数现有研究采用高度受限的变换模型，例如具有六个自由度（DOF）的刚性变换假设，这通常用于术中数据与术前数据的配准。一个典型的例子是我们在这项工作中对肝脏超声与CT配准的应用，其中首先应用刚性配准来对齐术中超声切片和术前CT图像（魏等人，2021b；温等人，2008年；孙等人，2018年；拉马利尼奥等人，2020年）。 除了可以建模为受约束的刚性或仿射变换的切片与体部图像之间的坐标系转换之外，器官运动和其他软组织变形需要使用更高阶的变换模型来进行补偿。已经有研究提出将非刚性配准应用于这种情况（埃尔哈瓦里等人，2010年；李等人，2010年；兰格等人，2003年）。部分由于其约束不足的性质，在非刚性方法中使用了一种重要的"配准参数"：对变形正则化的加权（例如位移梯度的非平滑惩罚项L2范数或弯曲能量（哈斯金斯等人，2020年；傅等人，2020b；陈等人，2021年），以促进平滑（从而受到约束）的局部组织变形）。然而，尽管肝脏不同部位的材料属性（如硬度）以及不同解剖结构（如血管）和病理结构（如肿瘤）之间存在差异，但这个权重通常是固定的，并且被认为在各处都相同。与此类似，早期尝试使用生物力学模型作为先验约束变换模型时，只研究了均匀弹性（厄兹居尔等人，2018年）。 然而，从许多已报道的结果中可以明显看出，肝脏内不同区域之间的配准性能差异很大（拉马利尼奥等人，2020年）。空间自适应变形正则化可能为这种应用提供更灵活的变换模型，尽管这可能会使其不适定性加剧。 在体对切片配准之外，空间自适应变形正则化可以通过数据驱动的方法来推断（辛普森等人，2015年；帕皮耶兹等人，2013年；里肖姆等人，2010年；埃尔莫西略等人，2002年）。对于基于学习的配准算法，这些配准参数变成了超参数，并且可以通过超网络（胡普斯等人，2021年）进行重新参数化，以便在测试时进行高效的自适应调整。其他可自适应的配准方法也以元学习的形式被提出（朴等人，2022年；鲍姆等人，2022年）。这些方法需要在测试时基于一些示例对训练好的配准模型进行微调。例如，鲍姆等人（2022年）在一个交互式设置中阐述了这个问题，在微调过程中，配准可以通过用户添加的数据进行手动调整。 ### 1.3 不相等的超声采样位置 除了局部变形之外，包括解剖特征在内的成像内容在不同的成像位置也有很大差异。这是配准性能具有空间依赖性的另一个可能原因。例如，在基于血管的配准算法中，所采集切片中包含的血管结构的复杂性和丰富性，对成功配准起着重要的积极作用（拉马利尼奥等人，2020年、2018年、2022年）。 在本文中，我们认为所有切片的采样位置可以通过以下两个参数进行参数化：（1）这一堆切片的起始位置（相对于某个参考）；（2）这一堆切片的物理长度（例如以毫米为单位），这里假设沿着器官表面有一条线性采集路径。这种近似线性的采集路径适用于临床应用中广泛的需要接触的超声成像，例如侵入性肝脏手术、经直肠前列腺介入、胎儿异常检测和肌肉骨骼成像。因此，这一堆切片的长度可以被视为一个配准参数，它控制着空间覆盖范围和准确的初始定位（随后进行局部非刚性配准）之间的平衡，也就是说，更长的一堆切片应该覆盖更多用于配准的特征，但可能需要估计更复杂的非刚性变换，而当这一堆切片的长度趋近于零时，就不再需要切片之间的变换了。 上述观察结果激发了这项工作的主要贡献之一：开发一种交互式配准方法，该方法允许对超声采样位置进行顺序建议，并从这些建议的位置采集后续的超声切片。图像采样操作的顺序反过来应该提供图像切片数据，以便进行一个更适定、更容易配准的体对堆配准。 总之，这项工作提出了一个新的框架，该框架针对具有挑战性的体对堆术中配准任务，优化了以下两个方面的序列：a）超声图像堆的采样位置；b）空间变化的变形正则化。 由于配准任务在相应特征方面的稀疏性以及在超声成像方向和深度方面的依赖性，它也是一个部分到整体的配准。值得强调的是，我们提出的涉及配准和定位的工作，与同时定位与地图构建（SLAM）文献中的方法（施塔赫尼斯等人，2016年；朱利尔和厄尔曼，2001年；戴维森，2003年；萨拉斯-莫雷诺等人，2013年）之间存在相似性。在这项工作中，相对于参考解剖标志对超声探头进行定位和可视化（可选择作为术中的视觉辅助，在体部CT中可识别），可以被视为SLAM公式中的地图构建部分。这里没有进一步形式化SLAM算法的这个观点，但在可能的情况下采用了一致的符号表示。 我们提出了一个引导式术中图像采集框架，用于采集适合与术前CT进行配准的超声扫描图像。与之前的工作通常是指对已经采集的图像进行微调配准的引导（鲍姆等人，2022年；朴等人，2022年）不同，我们的工作是引导图像采集到能够提高配准性能的区域。此外，为了实现这个新颖的应用，我们从超网络中推导出了强大的奖励信号，这使得能够根据任务性能对强化学习控制器进行训练，而这是强化学习中一个尚未充分探索的领域。 总的贡献总结如下： （1）我们制定了一种新的交互式体对堆配准算法，用于顺序采集的超声切片堆与术前CT之间的配准。 （2）我们提出了一种基于超网络的配准模型，该模型可以在不同区域进行泛化，并且在测试时可以针对三个条件变量进行自适应调整，即一个控制变形正则化的参数、一个堆长度参数以及一个指示堆起始位置的参数（详见第2.1节）； （3）我们提出了一种基于强化学习的优化方法，用于在测试时估计这些条件变量，以引导用于配准目的的超声堆采集； （4）我们使用从接受腹腔镜肝脏分期和切除术的患者的CT扫描中获得的临床术前数据以及模拟的术中超声数据，对我们提出的框架进行了评估，并将其与文献中常见的其他配准方法进行了比较。 在第3节中，我们认为使用模拟的术中数据为验证手术中的可变形模型提供了实际可行的真实数据，而目前使用真实临床数据无法做到这一点。由于手术应用的性质和所提出的引导式采集，它也作为支持进一步交互式数据采集的必要初步实验证据。此外，使用模拟的术中数据还使我们能够报告一些有意义的验证指标，例如术中图像和术前图像中相应标志点的目标配准误差，而这在真实的术中数据上可能是无法实现的。在模拟环境中，使用模拟的术中数据以及基于先前工作的误差估计进行的全局对齐，使我们能够展示一个新颖的图像采集引导框架，以引导采集从而实现更好的配准。
Abatract
摘要
We propose a guided registration method for spatially aligning a fixed preoperative image and untrackedultrasound image slices. We exploit the unique interactive and spatially heterogeneous nature of thisapplication to develop a registration algorithm that interactively suggests and acquires ultrasound imagesat optimised locations (with respect to registration performance). Our framework is based on two trainablefunctions: (1) a deep hyper-network-based registration function, which is generalisable over varying locationand deformation, and adaptable at test-time; (2) a reinforcement learning function for producing test-timeestimates of image acquisition locations and adapted deformation regularisation (the latter is required dueto varying acquisition locations). We evaluate our proposed method with real preoperative patient data, andsimulated intraoperative data with variable field-of-view. In addition to simulation of intraoperative data, wesimulate global alignment based on previous work for efficient training, and investigate probe-level guidancetowards an improved deformable registration. The evaluation in a simulated environment shows statisticallysignificant improvements in overall registration performance across a variety of metrics for our proposedmethod, compared to registration without acquisition guidance or adaptable deformation regularisation, andto commonly used classical iterative methods and learning-based registration. For the first time, efficacy ofproactive image acquisition is demonstrated in a simulated surgical interventional registration, in contrastto most existing work addressing registration post-data-acquisition, one of the reasons we argue may haveled to previously under-constrained nonrigid registration in such applications.
我们提出了一种引导式配准方法，用于对固定的术前图像和未跟踪的超声图像切片进行空间对齐。我们利用该应用独特的交互性和空间异质性，开发了一种配准算法，该算法能够交互式地建议并在优化位置（从配准性能角度考虑）采集超声图像。 我们的框架基于两个可训练的函数：（1）一个基于深度超网络的配准函数，它能在不同的位置和变形情况下具有泛化能力，并且在测试阶段具有适应性；（2）一个强化学习函数，用于在测试阶段估计图像采集位置，并对变形正则化进行调整（由于采集位置不同，需要进行后者的调整）。 我们使用真实的患者术前数据以及具有可变视野的模拟术中数据对所提出的方法进行评估。除了模拟术中数据外，为了进行高效训练，我们还基于以往的工作模拟了全局对齐，并研究了能实现更优可变形配准的探头级引导。 在模拟环境中的评估显示，与没有采集引导或可调整变形正则化的配准方法相比，以及与常用的经典迭代方法和基于学习的配准方法相比，我们提出的方法在各种指标上的整体配准性能有了统计学上的显著提升。与大多数现有工作着眼于数据采集后的配准不同，我们首次在模拟的手术介入配准中证明了主动式图像采集的有效性。我们认为，这可能是此类应用中以往非刚性配准约束不足的原因之一。
Method
方法
The proposed guidance framework relies on two functions: (1) ahyper-network-based registration function to allow adaptive registration; and (2) a reinforcement learning function to guide the operatortowards regions that aid registration. The hyper-network based registration function allows varying conditioning variables at test-timei.e., varying stack length or regularisation weight and can accommodate different sampling locations within the liver. These conditioningvariables and sampling locations are suggested by the reinforcementlearning function, at test-time. The reinforcement learning functionmay be trained using a reward signal derived only from the performance gain/loss of the registration network subsequent to eachsuggestion. Once trained, the RL function guides the operator in termsof the conditioning variables (including a prescribed stack length,regularisation weight and sampling location) towards an optimal registration and the hyper-network based registration function provides theregistration using these conditioning variables.
所提出的引导框架依赖于两个函数：（1）一个基于超网络的配准函数，用于实现自适应配准；（2）一个强化学习函数，用于引导操作人员前往有助于配准的区域。 基于超网络的配准函数允许在测试时改变条件变量，也就是说，可以改变图像堆长度或正则化权重，并且能够适应肝脏内不同的采样位置。在测试时，这些条件变量和采样位置是由强化学习函数给出建议的。 强化学习函数可以使用仅从每次建议之后配准网络的性能提升/下降情况中得出的奖励信号来进行训练。一旦训练完成，强化学习函数就会根据条件变量（包括规定的图像堆长度、正则化权重和采样位置）引导操作人员实现最优配准，而基于超网络的配准函数则利用这些条件变量来进行配准。
Conclusion
结论
In this work we propose a flexible guided nonrigid registrationframework based on two functions central to the framework. Thefirst is a hyper-network-based registration function, which is adaptableat test-time with respect to registration parameters. The second isa reinforcement learning function which learns to estimate optimalregistration parameter settings as well as sampling locations to improve nonrigid registration performance for a common preoperativeto intraoperative registration task, stack-to-volume registration. Theguidance in terms of sampling location for intraoperative imaging andthe settings for registration parameters, which control the image acquisition as well as registration, allows for a nonrigid registration to beobtained which leads to lower error compared to counterparts withoutthese components for the tested application of liver ultrasound to CTregistration. We have demonstrated the applicability of the proposedapproach using real preoperative CT data and simulated intraoperativeUS data from patients undergoing laparoscopic liver surgery, and haveshown meaningful performance improvements together with physicallyplausible registrations. Although, evaluated on simulated data, thiswork serves as a base for future work that can evaluate guidancetowards improved registration within realistic intraoperative settings,where interaction between the RL controller and data acquisition areconsidered.
在这项工作中，我们提出了一个灵活的引导式非刚性配准框架，该框架基于两个核心函数。第一个是基于超网络的配准函数，它在测试时能够针对配准参数进行自适应调整。第二个是强化学习函数，该函数学习估计最优的配准参数设置以及采样位置，以便在常见的术前到术中配准任务（即堆到体配准）中提高非刚性配准性能。 关于术中成像的采样位置的引导，以及控制图像采集和配准的配准参数设置，使得能够实现一种非刚性配准。与在测试的肝脏超声与CT配准应用中没有这些组件的方法相比，这种配准产生的误差更低。 我们使用真实的术前CT数据以及来自接受腹腔镜肝脏手术患者的模拟术中超声数据，证明了所提出方法的适用性，并且展示了有意义的性能提升以及符合物理实际的配准结果。尽管是在模拟数据上进行评估，但这项工作为未来的研究奠定了基础。未来的研究可以在现实的术中场景中评估能够改善配准的引导方法，并且会考虑强化学习控制器与数据采集之间的相互作用。
Results
结果
4.1. Registration performance
For evaluating the registration function, we turn the reader's attention to the top block of results presented in Table 1. When comparingthe hypernet, with fixed optimal registration parameter values over theentire set, to a non-hypernet registration network or to an empiricallyconfigured iterative registration, we expect little difference betweenthe two for supporting a test-time optimisable alternative withoutcompromising registration capability. Indeed, as detailed in Table 1,statistical significance was not observed for all tested metrics (p-values* 0.050 for all), except for the GDM metric for comparison with theiterative registration variant (p-values = 0.008 and 0.006 for the twocomparisons). The standard deviation of the Jacobian determinant wasbetween 0.58-1.97 (95th percentile). For comparisons to DRAMMSand DEEDS, while some metrics are improved compared to the hypernet approach, these improvements are within the margin of error.Moreover, DEEDs or DRAMMs would require substantial modificationswithin our hypernet-based guidance framework, which allows test-timeadaptation of conditioning variables. Note that these methods requiregeometrically reconstructed images on a regular grid, with substantialoverlapping common anatomical features already present, which makestheir use in our application challenging and uncommon within currentliterature. Thus, we use our hypernet approach in subsequent experiments. It should also be noted that image-only registration networkstill manages to substantially reduce registration error compared toun-registered cases. We use the best-performing hypernet approach forsubsequent experiments.
4.1 配准性能 为了评估配准函数，我们请读者关注表1顶部的结果模块。当将在整个数据集上具有固定最优配准参数值的超网络，与非超网络配准网络或经验配置的迭代配准进行比较时，我们期望在不影响配准能力的前提下，为测试时可优化的替代方案提供支持，且这两者之间差异不大。事实上，如表1中详细所示，除了在与迭代配准变体进行比较时的广义距离度量（GDM）指标（两次比较的p值分别为0.008和0.006）外，对于所有测试指标均未观察到统计学上的显著差异（所有指标的p值均大于0.050）。雅可比行列式的标准差在0.58到1.97之间（第95百分位数）。 在与DRAMMS和DEEDS方法进行比较时，虽然某些指标相比超网络方法有所改善，但这些改善都在误差范围内。此外，DEEDS或DRAMMS方法若要应用于我们基于超网络的引导框架中，需要进行大量修改，而我们的框架允许在测试时对条件变量进行自适应调整。请注意，这些方法需要在规则网格上对几何重建的图像进行处理，且已经存在大量重叠的常见解剖特征，这使得它们在我们的应用中使用起来具有挑战性，并且在当前文献中也不常见。 因此，我们在后续实验中采用超网络方法。还应注意的是，与未配准的情况相比，仅基于图像的配准网络仍然能够大幅降低配准误差。在后续实验中，我们使用性能最佳的超网络方法。
Figure
图
Fig. 1. An overview of the proposed registration and guidance scheme being usedintraoperatively. The guided image stack sampling is the effector 𝑒 described inSection 2.3.1. The transformations between slices as well as between slices and thepreoperative volume for this challenging volume-to-stack registration, are unknown
图1：所提出的术中使用的配准和引导方案概述。引导式图像堆采样是第2.3.1节中描述的执行器e。对于这个具有挑战性的体对堆配准而言，切片之间以及切片与术前体部图像之间的变换都是未知的。
Fig. 2. An overview of the global alignment function, which has been simulated inthis work based on errors reported in previous works (Ramalhinho et al., 2022, 2020).Grey: non-parametric fixed function; Dotted bubble: expanded visualisation.
图2：全局对齐函数的概述，在这项工作中，该函数是基于先前研究（拉马利尼奥等人，2022年、2020年）中所报告的误差情况进行模拟的。灰色部分：非参数固定函数；带点气泡：展开后的可视化展示。
Fig. 3. Hypernet based registration network. Blue: parametric trainable function; Bluedashed bubble: combination of functions; Dotted bubble: expanded visualisation; Green:variables; Dashed line: used for function training. The hypernet re-parameterises theweights of the registration network based on the input conditioning variables, thisweight-modification adapts the registration network to represent the new conditioningvariable setting
图3：基于超网络的配准网络。蓝色：参数化的可训练函数；蓝色虚线气泡：函数组合；带点气泡：展开的可视化；绿色：变量；虚线：用于函数训练。超网络根据输入的条件变量对配准网络的权重进行重新参数化，这种权重调整使配准网络能够适应新的条件变量设置。
Fig. 4. Reinforcement learning function. Blue: parametric trainable function; Dottedbubble: expanded visualisation; Green: variables; Dashed lines: used for functiontraining. The RL function suggests conditioning variable settings that guide the operatortowards an optimal registration. The function is trained using a reward signal derivedfrom the registration network, quantifying performance gains/losses subsequent to anyconditioning variables suggestions by the RL function.
图4：强化学习函数。蓝色：参数化的可训练函数；带点气泡：展开的可视化展示；绿色：变量；虚线：用于函数训练。强化学习函数会给出条件变量设置建议，引导操作人员实现最优配准。该函数使用从配准网络导出的奖励信号进行训练，该奖励信号用于量化强化学习函数给出的任何条件变量建议之后的性能提升或下降情况。
Fig. 5. Effector. Acquisition of the next intraoperative stack 𝑥𝑡+1, given conditioningvariables. Grey: non-parametric fixed function; Green: variables. The effector takes inthe guidance sampled from the RL function and uses it to acquire a new stack/sweepof US. This may be a human following the RL guidance intraoperatively, where theguidance is delivered to the human operator via a constructed map (see Section 2.4).
图5：执行器。在给定条件变量的情况下，获取下一个术中图像堆𝑥𝑡+1。灰色：非参数固定函数；绿色：变量。执行器接收从强化学习函数中采样得到的引导信息，并利用该信息获取新的超声图像堆/扫描结果。这可能是术中由人按照强化学习给出的引导进行操作，引导信息会通过构建的地图传递给操作人员（详见第2.4节）。
Fig. 6. A 2D point cloud map of landmarks constructed as an intraoperative aid(projected into 2D coronal view and overlaid onto a 2D projection of the preoperativevolume). Intraoperative points sampled using global alignment function and correctiondone as described in Section 2.4. hv: hepatic vein (1, 2, 3 corresponds to right, middleand left); pv: portal vein branching point; gb: gall bladder; ao: aorta; vc: vena cava.Sampling guidance arrow comprises of 𝑎**𝑡 and shows the direction and magnitude ofsuggested direction.
图6：构建的作为术中辅助工具的二维地标点云图（投影到二维冠状视图并叠加在术前体部图像的二维投影上）。术中的点是使用全局对齐函数进行采样，并按照第2.4节中所述进行校正。hv：肝静脉（1、2、3分别对应右、中、左肝静脉）；pv：门静脉分支点；gb：胆囊；ao：主动脉；vc：下腔静脉。采样引导箭头由𝑎𝑡组成，显示了建议方向的方向和大小。
Fig. 7. Effect of varying 𝑎 𝑑𝑒𝑓 𝑡 , the spatial regularity of deformation at various startinglocations 𝑎 𝑙𝑜𝑐 𝑡 . Left: Linear scale; Right: Logarithmic scale, where each colour is adifferent sampling location and dotted lines indicate optimal values.
图7：在不同起始位置(a{loc}^t) 处，改变变形的空间正则化参数(a{def}^t) 所产生的影响。 左侧：线性刻度；右侧：对数刻度，其中每种颜色代表一个不同的采样位置，虚线表示最优值。
Fig. 8. Effect of 𝑎 𝑑𝑒𝑓 𝑡 , the spatial regularity of deformation, averaged over 1000locations
图8：变形的空间正则化参数(a_{def}^t)的影响，该影响是在1000个位置上取平均值得到的。
Fig. 9. Effect of varying stack length at various sampling locations
图9. 在不同采样位置改变堆叠长度所产生的影响
Fig. 10. Registration performance (DSC) overlaid onto a patient volume with fixedstack length and spatial regularity of deformation. Each column showing a differentview for the same patient (legend on the top-left represents the view presented).
图10：在固定图像堆长度和变形空间正则性的情况下，配准性能（DSC，即 Dice 相似系数）叠加显示在患者的体部图像上。每一列展示了同一位患者的不同视角（左上角的图例表示所展示的视角）。
Fig. 11. Registration results presented for 2D slices. Top: latent slice from CTsection (obtained from global alignment), 2nd row: slice from warped US sweep(warped using hypernet-based registration function-predicted deformation), 3rd row:flow field showing warps, Bottom: slice from un-warped US sweep. Slices sampledusing Ramalhinho et al. (2023)
图11：二维切片的配准结果展示。 顶部：来自CT断层的潜在切片（通过全局对齐获得）；第二行：来自经过变形的超声扫描的切片（使用基于超网络的配准函数预测的变形进行变形处理）；第三行：显示变形情况的流场；底部：来自未变形的超声扫描的切片。这些切片是根据拉马利尼奥等人（2023年）的方法采样得到的。
Fig. 12. Registration results presented for equally spaced 2D slices from a single3D volume. Top: latent slice from CT section (obtained from global alignment),2nd row: slice from warped US sweep (warped using hypernet-based registrationfunction-predicted deformation), 3rd row: flow field showing warps, Bottom: slice fromun-warped US sweep. Slices sampled using Ramalhinho et al. (2023).
图12：从单个三维体数据中等间距二维切片的配准结果展示。顶部：来自CT断层的潜在切片（通过全局对齐获得）；第二行：来自经变形的超声扫描的切片（利用基于超网络的配准函数所预测的变形进行变形处理）；第三行：显示变形情况的流场；底部：来自未变形的超声扫描的切片。这些切片是依据拉马利尼奥等人（2023年）的方法进行采样的。
Fig. 13. Registration results presented in 3D using interpolation of ultrasound frames.Red: Sampled US (moving image), Green: latent CT section (obtained from globalalignment) (fixed image), Purple: Warped US (warped moving image)
图13：通过对超声帧进行插值后以三维形式呈现的配准结果。红色：采样的超声图像（浮动图像），绿色：潜在的CT断层图像（通过全局对齐获得）（固定图像），紫色：变形后的超声图像（已变形的浮动图像）。
Table
表
Table 1Table of results on the holdout set. The conditioning variable settings are: 'fixed optimal': fixed for the entire holdout set and optimal selected by averaging over the wholeset; 'fixed random': fixed for the entire holdout set and randomly selected from an empirically defined range; 'random': randomly selected per acquired intraoperative stack; 'RLoptimal': optimal selected by RL function per acquired intraoperative stack. The networ
表1 留存数据集上的结果表。条件变量设置如下："固定最优值"：在整个留存数据集上固定不变，且为通过对整个数据集求平均后选取的最优值；"固定随机值"：在整个留存数据集上固定不变，且从经验定义的范围内随机选取；"随机值"：针对每次采集的术中图像堆随机选取；"强化学习（RL）最优值"：由强化学习函数针对每次采集的术中图像堆选取的最优值。
Table 2Impact of segmentation noise on registration performance. The registration model used was 𝑓𝜃*hyp from thefirst row of Table 1.
表2 分割噪声对配准性能的影响。所使用的配准模型是表1第一行中的\(f_{\theta}^{hyp}\) 。
Table 3Hyperparameters for 𝑓𝜃 ℎ𝑦𝑝
表3 (f_{\theta}^{hyp})的超参数
Table 4Hyperparameters for 𝑓𝜃 𝑟𝑙 .
表4 (f_{\theta}^{rl}) 的超参数。
表A.5. Using the proposed framework to guide intraoperative prostate registration
表A.5. 使用所提出的框架来引导术中前列腺配准
Table 6Results on, the holdout set, comparing performance for a task of guided prostate USto MR non-rigid registration. The conditioning variable settings are: 'fixed optimal':fixed for the entire holdout set and optimal selected by averaging over the wholeset; 'fixed random': fixed for the entire holdout set and randomly selected from anempirically defined range; 'random': randomly selected per acquired intraoperativestack; 'RL optimal': optimal selected by RL function per acquired intraoperative stack.
表6 在留存数据集上的结果，对比了引导式前列腺超声与磁共振（MR）非刚性配准任务的性能。条件变量设置如下："固定最优值"：在整个留存数据集上保持固定，且为通过对整个数据集取平均值后选定的最优值；"固定随机值"：在整个留存数据集上保持固定，且是从经验定义的范围内随机选取的；"随机值"：针对每次采集的术中图像堆随机选取；"强化学习（RL）最优值"：由强化学习函数针对每次采集的术中图像堆选取的最优值。