论文 :EasyHeC++: Fully Automatic Hand-Eye Calibration with Pretrained Image Models
作者 :Zhengdong Hong¹*、Kangfu Zheng²*、Linghao Chen¹;¹浙江大学,²清华大学;*共同第一作者,通信作者 Linghao Chen。
发表 :IROS 2024;DOI:10.1109/IROS58592.2024.10801359。
本文依据版本 :arXiv:2410.09293v1,8 页,唯一列出的提交版本;arXiv 提交时间换算为 2024-10-12 07:49:19 JST 。不是 RA-L 2023 的 EasyHeC 原版。
已核验链接 :PDF · HTML · TeX 源码 · 项目页 · 作者项目页所指代码仓库 · 官方补充演示视频。链接核验于 2026-11-12 JST 。DOI 与题名由检索元数据匹配;出版方入口直接读取返回 403,本文全文依据 arXiv v1,不声称已逐页核对 IEEE 版。
代码边界 :项目页仍将代码按钮标作"Coming soon",指向的仓库主页主要介绍 EasyHeC 原版 ,README 同时列出 EasyHeC++ 引用。不能仅凭此认定完整 EasyHeC++ 管线已经公开、可直接复现;本次未执行代码。
关键词 :手眼标定、眼在手外(eye-to-hand)、眼在手上(eye-in-hand)、预训练视觉模型、AutoSAM、可微渲染、空间探索、无训练重标定。
范围 :摘要、正文 I--V 全文按原文段落逐句翻译;保留三条编号公式及一条未编号公式、全部 4 个图注、全部 10 张表及 44 条参考文献。原文没有附录;补充视频另列素材说明。所有
【分析·...】引用块属于技术解读,不是原文。原文疑点不静默修正,见文末核查清单。
【分析·先辨认是哪篇论文】EasyHeC++ 是 Hong、Zheng、Chen 的 2410.09293 ;用户同时给出的 2409.10441 是 CtRNet-X: Camera-to-Robot Pose Estimation in Real-world Conditions Using a Single Camera。两篇不是同一论文。原版 EasyHeC 则是 Chen、Qin、Zhou、Su 的 RA-L 2023 论文,见本文参考文献 19。下面单独讲 EasyHeC++,不会把 CtRNet-X 的方法或实验拼接进来。
摘要(Abstract)
手眼标定通过直接影响操作与抓取等关键作业的效率,在机器人领域发挥基础性作用。在本工作中,我们提出一种新框架 EasyHeC++,用于全自动手眼标定。与先前需要手动标定、专用标记物或训练机械臂专属神经网络的方法不同,我们的方法是第一个能够以无标记、无训练且全自动的方式对任意机械臂进行准确标定的系统。 我们的方法采用两步流程。首先,在预训练图像模型的帮助下,使用基于采样或基于特征匹配的方法初始化相机位姿。 随后,通过可微渲染进行位姿优化。 大量实验表明,在不同机械臂与相机设置下,该系统在合成及真实世界数据集上具有更高精度。项目页:https://ootts.github.io/easyhec_plus/。
【分析·问题与命题】
这不是用 SAM 直接回归六自由度外参。SAM 只负责提供机器人前景掩码 ;已知机器人模型和关节角负责预测"这个外参下,机器人应该投影到哪里";优化器不断调整外参,把渲染掩码对齐到真实掩码。真正增加的自动化在于:如何不训练专用网络就得到一个可用初值、如何不手画框就获得准确分割、如何在相机挪动后复用历史标定。摘要中的"全自动""任意机械臂"是作者的主张,不能抹掉 III-F 明写的 eye-in-hand 首次标定手动初始化例外。
I 引言(Introduction)
手眼标定是机器人领域的一个基础问题。它通过把相机的感知结果转换到机器人坐标系中,连接视觉系统与机械臂系统。这对于机器人抓取 1,2、机器人操作 3,4 以及机器人装配 5 等许多机器人应用至关重要。
传统上,手眼标定问题借助标记物 6,7,8,通过求解 或
方程 7,8,9,10,11 来计算相机位姿。这些方法不仅需要在场景中放置高质量标记物,还需要人工选择一系列关节姿态。这种人工过程耗时且不够用户友好,因而限制了它们在真实实验室及家庭场景中的适用性。
图 1| 我们的方法与先前方法的比较。我们的方法不仅提供高精度,而且是全自动、无标记且无训练的。
近年来,研究者提出了基于学习的方法来解决手眼标定问题。这些方法通常使用神经网络直接回归相机位姿 12,13,或者检测机械臂关键点 14,15,16,随后利用 Perspective-n-Point(PnP)算法 17 求解相机位姿。这些方法的性能受到训练数据质量和数量的限制 。此外,一个训练好的模型只能应用于一种机械臂。如果需要标定另一种机械臂,就必须重新开始这一流程,包括采集新数据和训练新模型。
近期工作 18,19 提出使用可微渲染,以逐像素掩码损失优化相机位姿,并取得更高精度。这些方法摆脱了精确放置标记物和精心选择关节姿态的要求,因此非常适合家庭场景 ,尤其是在部署时需要重新标定的情况下。然而,它们仍需要一个粗略位姿作为初始化,以及一个掩码作为监督。掩码分割网络需要针对每一种机械臂进行训练。此外,位姿初始化要么由人工设置,要么由另一个神经网络获得。这两个因素都增加了人工投入和训练成本,阻碍这些方法实现全自动和广泛应用。
在本文中,我们提出 EasyHeC++,具有以下特点:
- 准确(3 mm 误差)且全自动的手眼标定系统。
- 第一个对任意类型机械臂都不需要任何训练成本或人工标注的方法。
- 快速设置:新机械臂需要 15 分钟,重新标定需要 5 分钟。
- 同时支持眼在手外与眼在手上配置。
我们的核心思想是,把预训练图像模型出色的泛化能力与基于可微渲染的位姿优化所提供的精度结合起来。这一创新设计简化了前提要求,只需要一台真实机械臂、一台相机和该机械臂的模型。因此,这种方法显著减少了人工干预和训练成本,使我们的方法更适合真实世界应用。
我们的框架包括两个主要组成部分:1)位姿初始化,2)位姿优化。在位姿初始化阶段,我们分别采用基于采样的方法或基于特征匹配的方法,对首次标定和后续重新标定的相机位姿进行初始化 。基于采样的初始化从半球面上密集采样的相机位姿集合中选择一个位姿 。然后,在文本提示分割模型 20 所生成掩码的监督下 ,用可微渲染进一步精炼这个位姿。另一方面,基于特征匹配的初始化利用历史已标定的图像--位姿对,推断初始相机位姿 。与训练神经网络或人工设置相机位姿不同,这些方法提供了更自动化的途径,并且不受机械臂类型限 制。接下来,在位姿优化阶段,我们遵循 19 中的方法,利用逐像素掩码损失优化相机位姿,并用空间探索模块搜索信息量最大的关节姿态,以获得更精确的标定结果 。在这一阶段,掩码监督由预训练开放世界分割模型 21 生成,并以投影后的机械臂模型作为提示。利用机械臂的运动学模型引导预训练图像模型,可以充分发挥它们的泛化能力,使我们无需人工提示标注或针对特定机械臂类型进行训练,就能生成准确掩码。在求得相机位姿后,我们把已标定的图像--位姿对加入数据库。这些信息将作为后续重新标定时,基于特征匹配的方法进行位姿初始化的参考。
我们在合成和真实世界场景中的多种机械臂上评估所提方法。结果表明,在眼在手外和眼在手上两种设置下,我们的方法在精度和自动化程度方面都优于所有先前方法。据我们所知,这是第一项实现全自动手眼标定的工作,消除了训练、人工标注或标记物的必要性。为向机器人社区作出贡献,我们致力于开放本系统的源代码,以便更广泛地使用并从中受益。
【分析·"无训练"究竟省掉了什么】
原文的 training-free 是"不为待标定机械臂重新训练网络",不是"不使用任何已经训练的模型":GroundedSAM、SAM、图像检索、DKM 都有预训练成本。也不是"无模型":机器人几何网格、运动学及关节读数仍是关键输入。3 mm 来自特定真机指点实验(表 VII 为 0.3 cm,表 VIII 为 0.31 cm),不能解释成所有相机、所有机械臂的外参平移误差保证。15/5 分钟是引言的系统设置时间宣称,表 IX 的约 10 分钟和 6 秒则针对初始化,二者统计范围不同。
II 相关工作(Related Work)
II-A 手眼标定(Hand-Eye Calibration)
手眼标定是获得相机与机器人参考坐标系之间变换矩阵的问题,涉及两种相机设置:眼在手外标定与眼在手上标定。在眼在手外标定中,相机相对机器人基座保持静止。相反,在眼在手上标定中,相机相对机器人末端执行器保持静止。
传统方法。 传统方法借助标记物,为眼在手外标定求解 AX=XB 手眼公式 7,8,9,10,或为眼在手上标定求解 AX=YB 机器人--世界--手眼公式 22。近期一些方法把这些公式与主动的下一最佳视角选择相结合,使标定过程更自动、更准确。Zhang 等 23 提出在线估计的离散视角质量场,表示所选相机视角的标定质量。Yang 等 24 引入不确定性降低,以引导机器人姿态选择。然而,这些方法很大程度上受到标记物可见性及质量的影响,限制了适用性,也增加了用户使用难度。
基于学习的方法。 近期工作提出用基于学习或无标记的方法求解手眼标定。对于眼在手外设置,DREAM 15 引入一个两步框架,首先用深度神经网络从机器人的 RGB 图像中检测关键点的二维投影,再用 PnP 算法 17 恢复相机位姿。类似地,Lu 等 16 提出先借助深度神经网络,通过迭代方法找到机器人上最优的关键点集合,随后利用 PnP 算法估计位姿。
基于优化的方法。 近期,Lu 等 18 提出以逐像素掩码损失为目标函数,用可微渲染优化相机位姿。EasyHeC 19 进一步设计了一个基于不确定性的空间探索模块,为眼在手外设置搜索下一个信息量最大的关节姿态,以获得更准确的标定结果 。对于眼在手上设置,Valassakis 等 12 训练一个简单神经网络,从安装在末端的相机所采集图像中直接回归相机位姿。对于眼在手外和眼在手上两种设置,Li 等 13 提出检测机器人基座,并把它与点云对齐,以计算相机位姿。所有现有方法要么需要借助专用标记物进行人工标定,要么需要训练机械臂专属神经网络。相比之下,我们是第一个以无标记、无训练、全自动方式工作的手眼标定系统。
与 EasyHeC 的区别。 我们的方法建立在 EasyHeC 之上,但存在几个关键区别。(1)EasyHeC 对每一种新机械臂都需要重新训练掩码和位姿网络,而我们的方法无需训练,可以应用于任意机械臂。(2)EasyHeC 只针对单次标定设计,而我们支持相机重新定位后的快速重标定。(3)EasyHeC 只支持眼在手外设置,而我们还支持眼在手上设置。
【分析·不要把"继承"说成"全部重做"】
上面是作者在 II-A 的明确比较:EasyHeC++ 保留 EasyHeC 的可微掩码优化和一致性空间探索,主要替换初始化与分割来源,并扩展重标定和 eye-in-hand。这里比较的是论文版本的方法设计,不代表今天 EasyHeC 仓库的所有后续扩展都还受同样限制。特别是仓库 README 已记录原版增加手工提示 SAM 的支持;这与无需手工画提示的 AutoSAM 并不等价。
II-B 视觉定位(Visual Localization)
视觉定位是一项重要的计算机视觉任务,目标是在给定已知场景表示的情况下,估计一张新图像的相机位姿。场景通常表示为利用基于特征匹配的方法 26,27 进行运动恢复结构(Structure-from-Motion)25 所得到的重建结果。这样,视觉定位的核心问题就变成寻找二维图像像素与场景三维点之间的对应关系。HLoc 28 提出以由粗到细的方式,通过图像检索及把二维--二维匹配提升为二维--三维匹配来解决视觉定位问题。OnePose 29 提出先重建三维物体的半稠密点云表示,再训练神经网络直接把二维像素与三维点云匹配。OnePose++ 30 提出以基于学习的特征匹配方法 31 替换 COLMAP 25,以改善无纹理物体上的性能。然而,这些方法不适用于我们的场景。它们方法中的重建没有规范空间,而机械臂具有预定义的规范空间。此外,机械臂具有已知物体形状,因此将二者对齐会高度依赖重建形状的质量与相机位姿精度。该领域中最相关的工作是 MeshLoc 32,它提出使用基于网格的表示,避免数据库图像之间的特征匹配。就手眼标定而言,机器人的网格通常是现成的,而且容易获取。
II-C 用于分割的图像模型(Image Models for Segmentation)
使用 33,34 等网络的传统学习式方法,在很大程度上受到它们对训练时未见任务与数据分布的泛化能力限制。在我们的任务中,我们旨在分割具有高度关节化结构的机械臂,这些模型要求我们额外收集机械臂图像进行训练,十分费力。当前以 Segment Anything(SAM)21 等大型视觉语言模型为代表的趋势,使精确的零样本图像分割成为可能。在扩大模型规模以及来自网络的丰富文本语料的推动下,SAM 21 及其后续工作 21,35,36,37 凭借质量、速度与泛化能力上的优势主导了图像分割。大型视觉语言模型的另一优点,是它们在设计和训练时就支持提示。Grounded-Segment-Anything 20 通过支持图像、文本与语音输入,进一步拓宽了应用范围。在我们的管线中,我们使用机械臂的运动学模型引导 SAM 模型 20 生成掩码,而不需要人工标注提示。
【分析·保留原文分类与引用疑点】
本段把 SAM 归为"大型视觉语言模型",并把其能力与"网络文本语料"关联;这是原文说法,不应作为 SAM 原始训练机制的可靠陈述。SAM 本体是可提示的图像分割模型,文本定位通常由外部模块衔接。原文又把 Grounded-Segment-Anything、GroundedSAM 以及此处的 SAM 指向 20,但 20 的书目实际是 Grounding DINO,而 SAM 论文是 21。译文照留引用号,不能悄悄把书目改成另一个项目。
III 方法(Methods)
III-A 背景(Background)
本工作旨在解决两种设置下的手眼标定问题:眼在手外标定和眼在手上标定。我们用 表示相机与机器人基座之间的相对位姿,用
表示相机与末端执行器之间的相对位姿。
我们的方法建立在 EasyHeC 之上,它通过迭代方式解决眼在手外标定问题。每次迭代包含两个主要组成部分:基于可微渲染的相机位姿优化,以及基于一致性的关节空间探索 。基于可微渲染的优化使用逐像素渲染掩码损失,按下式优化相机位姿 :

其中, 是相机与机器人基座之间相对位姿的指数坐标,
是可微掩码渲染器,
是通过正向运动学计算的基座连杆与连杆
之间的相对位姿,而
是观测掩码,由相机
采集的 RGB 图像推断得到。
每次迭代优化之后,进行基于一致性的关节空间探索。这一过程**在仿真器中采样一组关节姿态,并找出信息量最大的一个,以提高标定结果精度。然后,机械臂移动到下一个关节姿态,并再次在所有已采集图像上执行优化过程。该过程重复进行,直到迭代次数达到预定义的最大值。**在后文中,我们把这一迭代次数称为空间探索迭代次数。更多细节请参见 19。
【分析·优化变量、观测与式(1)逐层展开】
按矩阵乘法链理解,T_{bl} 把连杆几何放到基座系,
再把它放到相机系;\\pi 把三维机器人投影为二维软掩码。多个连杆掩码求和后用
裁到前景并集,再与真实图像中分割出的 M 比较。优化的是相机--基座的六自由度刚体变换,不是关节角、不是机器人网格、不是 SAM 权重。 关节角和网格是已知输入,关节角被用于正运动学。原文式(1)没有显式写像素求和或图像集合求和;本文不把它擅自改成范数形式。其文字说逐像素损失,并在新姿态加入后对所有已收集图像再优化,表明实现需做像素/多帧归约,但具体归约形式不由这个印刷公式完整给出。
"主动"发生在下一次采集姿态的选择:不是任意多拍几张,而是在仿真中搜索对当前标定最有区分力的关节姿态。EasyHeC++ 此文没有重新给出空间探索评分公式,只明确沿用 19;不能从"基于一致性"这个名字编造一个新损失。
III-B 总览(Overview)
图 2|EasyHeC++ 架构。 我们不仅考虑单次标定,也考虑相机移动后的重新标定。每次标定时,EasyHeC++ 都包含位姿初始化和位姿优化两个主要部分。首次标定时,我们使用基于采样的位姿初始化模块,得到粗略相机位姿
;后续重标定时,我们利用数据库中的历史图像--位姿对,使用基于特征匹配(FM)的模块初始化相机位姿。随后运行位姿优化:先用可微渲染器(DR)优化相机位姿,再运行空间探索(SE)得到下一个关节姿态,以提高精度。在这个过程中,我们提出 AutoSAM 来预测掩码,作为 DR 过程的监督。求得相机位姿
后,我们把图像--位姿对加入数据库。
如图 2 所示,EasyHeC++ 旨在以全自动方式求解手眼标定问题。值得注意的是,我们不仅处理首次标定,也处理相机移动后的后续重标定。每次标定时,我们首先通过基于采样的方法(III-C1 节),或利用数据库中已有图像--位姿对的特征匹配方法(III-C2 节),初始化相机位姿 。接下来,我们以与 EasyHeC 相同的方式,使用基于可微渲染的优化和基于一致性的关节空间探索进行位姿优化。主要区别在于,我们设计 AutoSAM 模块,自动预测分割掩码(III-D 节)作为监督。每次标定后,把图像--位姿对加入数据库,作为后续重标定初始化所用的参考图像。我们在 III-C 与 III-D 节默认使用眼在手外标定设置,最后在 III-E 节讨论眼在手上标定。
III-C 自动位姿初始化(Automatic Pose Initialization)
手眼标定精度高度依赖位姿初始化的质量。在先前工作 19 中,位姿初始化由一个神经网络获得。对每一种机械臂,该网络都必须在合成数据上训练、在真实数据上微调,这可能受到仿真到现实域差距的影响,而且针对每种机械臂进行数据标注与训练的额外工作使其对用户不够友好。在本工作中,我们旨在以自动且无需训练的方式初始化位姿。
III-C1 基于采样的位姿初始化(Sampling-based Pose Initialization)
给定一台从未被标定过的机械臂,我们旨在估计初始相机位姿 ,用于后续基于可微渲染的位姿优化过程。
基本思想是:用大型分割模型 GroundedSAM 20,以"robot arm"(机械臂)作为文本提示生成分割掩码,并枚举相机位姿,找到与观测掩码最相似的那个 。具体而言,我们如图 2 所示,在一个半球面上采样一组相机位姿。随后,对每个相机位姿渲染机械臂模型以获得渲染掩码,并计算渲染掩码与观测掩码之间的掩码交并比(IoU)。然后,选择掩码 IoU 最高的相机位姿,并按式(1)用可微渲染进一步精炼,得到最终初始位姿 ,其中用 GroundedSAM 预测的掩码计算掩码损失。
实践中**,采样不同关节姿态的过程仅在首次标定时需要**。在后续重标定中,我们采用下一小节介绍的基于特征匹配的初始化,它只需要单一关节姿态作为输入。
III-C2 基于特征匹配的位姿初始化(Feature-Matching-based Pose Initialization)
如图 2 所示,每次标定后,我们都用初始关节姿态下的图像与求得的相机位姿更新数据库。当相机移动而需要重新标定时,我们利用已有图像--位姿对,通过类似 32 的特征匹配技术来初始化相机位姿。
具体来说,对于数据库中的一个图像--位姿对 ,我们可以获得
,即二维像素与机械臂规范空间中三维点云之间的对应关系。随后,给定目标图像
,我们可以用预训练稠密特征匹配网络,预测参考图像
与目标图像
之间的像素对应
。然后,把二维--二维对应提升为二维--三维对应
,以求解相机位姿
。
由于特征匹配网络具有在局部图像块上工作的性质,该方法不受机械臂类型限制,因此是全自动的。
【分析·两条初始化路线,分别解决不同数据条件】
首次没有历史: 文本找到机械臂大致掩码 → 枚举虚拟相机 → 挑 IoU 最大者 → 可微精炼。半球采样是在计算机里试相机外参,不是让真实相机沿半球运动;但首次初始化整体仍可能涉及机械臂移动到多个关节姿态,IV-D 与表 IX 计时已明确这一点。
重标定已有历史: 旧图某像素对应的机器人三维表面点已能由已标定位姿与网格关联;在新图找到同一表面位置,就获得"新图像素---已知三维点",可以 PnP。原文用 P\^c 表示规范空间点,却未在此清楚解释上标 c,本文保留,不把它偷偷改成"相机系点"。要让上述对应几何成立,原文 IV-D 要求参考图与新图具有相同机械臂关节姿态 ;相机可变,物体自身不能在匹配时随意变形。
这条路线的价值是复用过去的标定,不是声称在没有历史、任意关节姿态、任意遮挡的单张图上就能 6 秒完成全部标定。
III-D 自动分割预测(Automatic Segmentation Prediction)
预测准确的机械臂分割掩码,在基于可微渲染的优化过程中起着关键作用,因为其质量直接影响最终标定精度。先前方法 18,19 训练神经网络 38,34 来预测这一分割掩码,这不仅耗时,而且受限于特定类型的机械臂。近期的大型视觉语言模型 36,37,21,20 在开放世界图像分割任务中展现了出色性能,但它们要么需要人工提示作为输入 36,21,要么生成的掩码预测质量较差 20。
在本工作中,我们设计了一个名为 AutoSAM 的模块,以机械臂的运动学模型引导 SAM 21,用全自动且无需训练的方式生成掩码。基本思想是,利用初始化的相机位姿,或上一次空间探索迭代中优化得到的相机位姿,把机械臂模型投影到当前帧。然后,用该投影作为提示生成分割掩码:

其中,是连杆
的预测掩码,
是当前关节姿态
下的 RGB 图像,
是为连杆
生成二维边界框的投影操作,
是上一次空间探索迭代求得的相机位姿,或第一次迭代使用的初始化相机位姿。然后,我们合并所有连杆掩码,得到最终掩码
。实践中,除逐连杆掩码外,我们还使用每两个相邻连杆的二维边界框作为提示,以进一步提高掩码质量。如 IV-D 节所示,这种逐连杆提示的 SAM,在完全不需要训练成本的情况下,可以生成比先前方法质量更好的掩码。
【分析·自动提示与闭环依赖】
AutoSAM 把"人工给 SAM 画框"替换成"由运动学模型与当前外参自动投影框"。一个整臂大框可能包含桌面、相机附件与大块背景,而单个连杆/相邻连杆的局部框更容易对应简单形状。它不是利用网格直接把正确答案掩码覆盖到图像上:网格提供的是位置提示,实际像素边界仍由 SAM 从图像预测。因此,初始化→提示→掩码→外参优化构成有相互依赖的闭环;外参太差,提示就可能偏离机械臂,准确分割并无无条件保证。较好的初始化仍不可省略。
III-E 眼在手上的相机位姿优化(Eye-In-Hand Camera Pose Optimization)
眼在手上标定是手眼标定问题中除眼在手外设置之外的另一种设置。不同于先前依赖标记物 23,24,或使用神经网络预测相机位姿 12 的眼在手上工作,我们沿用先前工作 EasyHeC 19 的方法,用逐像素掩码损失优化相机位姿。具体而言,损失函数定义如下:

其中,T_{eb} 与 T_{bl} 分别是末端执行器与机器人基座之间、机器人基座与连杆 l 之间的相对位姿,由正向运动学计算; 是相机与末端执行器之间相对位姿的指数坐标,M 是 AutoSAM 生成的观测掩码。
图 3| 眼在手上设置下,我们方法的示例图像。(a)是手上相机拍摄的图像;(b)是为便于说明而从旁观视角拍摄的图像。
由于眼在手上设置的性质,在随机关节姿态下,并不能保证机械臂在图像中可见。因此,我们提出一种不同于眼在手外设置的关节姿态采样策略 ,确保机械臂在图像中可见。具体而言,我们不再像 19 那样独立采样每个关节的角度,而是先采样末端执行器位姿,确保末端执行器适当地朝向机器人基座连杆,然后通过逆运动学计算关节姿态。示例图像见图 3。
此外,我们观察到夹爪经常占据图像中的较大区域。该区域通常不为相机位姿优化提供充分信息。此外,这部分是图像中去畸变质量较低的边缘区域,因此把它纳入优化可能导致明显的精度下降。为解决这个问题,我们提出在优化过程中忽略该区域,使用如下掩码损失:

其中,p 和 O 分别表示一个像素和图像中的夹爪区域。
【分析·eye-in-hand 真正改变了什么】
外置相机不动时,跨帧常量是 T_{cb};相机固定在末端时,跨帧常量是 T_{ce},相机相对基座的位姿则随关节运动而改变。因此式(2)不是继续优化同一个 T_{cb},而是用 T_{eb}(q) 把基座几何先变换到末端系,再用固定但未知的 T_{ce} 变换到相机系。原文写"沿用 EasyHeC"指沿用掩码优化思想,不是说原版 EasyHeC 已支持 eye-in-hand。
对固定在相机附近的夹爪来说,机器人关节运动不一定提供显著相对视差;它又容易受畸变及遮挡影响。式(3)的 p\\notin O 是排除像素区域,不能改写成对所有像素求和。本文保留其不等条件和编号。
III-F 实现细节(Implementation Details)
在基于采样的位姿初始化模块中,相机与机械臂之间的距离固定为 1 米,仰角从 0 度到 70 度以 10 度间隔采样。方位角从 0 度到 360 度以 30 度间隔采样。在基于特征匹配的位姿初始化模块中,我们首先使用图像检索 39,找到与目标图像最相似的图像,并用基于特征匹配的方法初始化位姿。我们使用 DKM 40 作为特征匹配网络,因为它对无纹理及镜面反光的机械臂表面处理得相当好 。随后,根据这些对应关系,使用带 RANSAC 的 PnP 求解目标图像的位姿。基于可微渲染的位姿优化和基于一致性的关节空间探索中的其他超参数,与 EasyHeC 19 相同。对于眼在手上设置的首次标定,我们不使用基于采样的位姿初始化模块,而是手动初始化相机位姿,因为与眼在手外设置相比,这个位姿通常表现出小得多的变化。其他操作与眼在手外设置相同。
【分析·自动化边界必须正面写清】
这段原文明确说 eye-in-hand 的首次外参由人工初始化,因此"两个设置都支持"成立,不等于"两个设置首次初始化都全自动"。半球采样还有距离、角度和朝向先验,不是覆盖整个 SE(3) 的无先验全局搜索。原文方位角写 0--360°,但未明确 360° 端点是否与 0° 去重;因此不把候选数擅自写死为某个整数。本文也不从"其他超参数相同"编造学习率、迭代步数或完整碰撞检查设置。
IV 实验(Experiments)
IV-A 合成数据集上的评估(Evaluation on Synthetic Datasets)
IV-A1 眼在手外设置(Eye-to-Hand Setting)
本节使用 19 提出的合成数据集评估我们的方法。该数据集包含眼在手外设置下、不同相机位姿拍摄的 100 个场景。我们开展比较分析,评估我们的方法相对先前方法的性能。遵循 19 的评估协议,我们仅评估 8 和 15 成功求解相机位姿的场景。
表 I|xArm 合成数据集上的旋转误差评估结果。
| 方法 | 视图数 | 旋转误差(°):1 视图 | 2 视图 | 3 视图 | 4 视图 | 5 视图 |
|---|---|---|---|---|---|---|
| 基于标记物 8 | 20 | 0.870(20 视图) | --- | --- | --- | --- |
| DREAM 15 | 1\\sim5 | 1.924 | 1.240 | 0.981 | 0.764 | 0.704 |
| EasyHeC 19 | 1\\sim5 | 0.322 | 0.128 | 0.109 | 0.097 | 0.081 |
| 我们的方法 | 1\\sim5 | 0.246 | 0.076 | 0.064 | 0.058 | 0.045 |
表 II|xArm 合成数据集上的平移误差评估。
| 方法 | 视图数 | 平移误差(cm):1 视图 | 2 视图 | 3 视图 | 4 视图 | 5 视图 |
|---|---|---|---|---|---|---|
| 基于标记物 | 20 | 2.000(20 视图) | --- | --- | --- | --- |
| DREAM | 1\\sim5 | 0.529 | 0.473 | 0.374 | 0.347 | 0.303 |
| EasyHeC | 1\\sim5 | 0.488 | 0.298 | 0.252 | 0.206 | 0.206 |
| 我们的方法 | 1\\sim5 | 0.318 | 0.176 | 0.159 | 0.137 | 0.135 |
表 I 和表 II 的排版说明:原表把 1\\sim5 的五个误差并列放在一个分组表头之下;这里显式展开视图数对应关系。20 视图基线只有一个数,已标明其独立视图数,不表示它是单视图结果;补入的"---"只是排版占位,非额外实验。
表 I 和表 II 分别给出旋转和平移误差评估结果,其中我们的方法持续优于先前方法。即使只使用一个视图,我们的方法也超越先前工作 19 的性能,这归因于位姿初始化的精确性。尽管 EasyHeC 19 和我们的方法都使用相同的基于可微渲染的优化来求解相机位姿,我们的方法仍取得更高精度。这一优势归因于我们的方法利用机械臂运动学模型和大型预训练分割模型预测分割掩码,比 19 生成的掩码更准确。具体而言,我们的方法在使用 5 个关节姿态时达到 0.135 cm 的平移误差,优于 EasyHeC 19 在类似条件下的 0.206 cm。
【分析·合成优势与筛选条件】
从表 I--II 可直接看到 5 视图下旋转误差 0.081→0.045°、平移误差 0.206→0.135 cm。但评估不是不加筛选的全部 100 场景:正文限定为两种基线都成功求位姿的场景,未在这里报告最终保留数量。它支持共同成功子集上的精度比较,不支持从表中推断 EasyHeC++ 的全场景成功率。原文对"为什么更准确"的解释是作者归因;初始化消融和掩码消融提供相关证据,但这里没有把所有可能误差来源逐一隔离的因果实验。
IV-A2 眼在手上设置(Eye-in-Hand Setting)
表 III|xArm 合成数据集上的旋转误差评估结果。
| 方法 | 视图数 | 旋转误差(°):1 视图 | 2 视图 | 3 视图 | 4 视图 | 5 视图 |
|---|---|---|---|---|---|---|
| Zhang 等 23 | 10 | 0.148(10 视图) | --- | --- | --- | --- |
| Valassakis 等 12 | 1 | 4.4 | --- | --- | --- | --- |
| 我们的方法 | 1\\sim5 | 0.685 | 0.204 | 0.145 | 0.130 | 0.117 |
表 IV|xArm 合成数据集上的平移误差评估结果。
| 方法 | 视图数 | 平移误差(cm):1 视图 | 2 视图 | 3 视图 | 4 视图 | 5 视图 |
|---|---|---|---|---|---|---|
| Zhang 等 23 | 10 | 0.315(10 视图) | --- | --- | --- | --- |
| Valassakis 等 12 | 1 | 1.340 | --- | --- | --- | --- |
| 我们的方法 | 1\\sim5 | 0.503 | 0.179 | 0.128 | 0.117 | 0.112 |
与眼在手外设置类似,我们在眼在手上设置的合成数据集上评估我们的方法,并与先前方法比较。评估涉及 50 个不同相机位姿,我们用 SAPIEN 41 模拟标定过程。对于 Valassakis 等 12 的方法,我们使用 xArm7 机械臂合成 10000 张图像,并训练其模型。对于 Zhang 等 23 的方法,我们使用由 4\\times5 个网格组成、每格边长 5 cm 的棋盘格,以及 10 个不同关节姿态下拍摄的图像来复现。与训练神经网络回归相机位姿的 12 相比,我们的方法不仅不需要训练,而且达到更高精度。此外,相较 23,我们的方法用更少的关节姿态达到更高精度。
【分析·"更少视图"不是"任意单视图都更好"】
表 III 中本方法 1 视图的 0.685°、2 视图的 0.204°,都高于 Zhang 等 10 视图的 0.148°;到 3 视图的 0.145° 才略低。表 IV 平移误差则在本方法 2 视图时低于 10 视图基线。这仍支持"较少视图可达到更好精度",但不能写成"单视图在所有指标都碾压标记法"。III-F 的手动首次初始化例外也同样适用于理解这组 eye-in-hand 结果。
IV-B 真实数据集上的评估(Evaluation on Real Dataset)
我们使用真实世界 Baxter 数据集 18,把我们的方法与若干先前方法进行比较评估。该数据集包含在同一相机位姿、20 个不同关节姿态下拍摄的 100 张图像。评估指标包括二维和三维的正确关键点比例(percentage of correct keypoints, PCK),分别见表 V 和表 VI。这些表明,我们的方法在二维和三维 PCK 上优于先前方法,尤其是在较小阈值下。例如,在使用 3 个视图时,我们的方法在 10 px 和 20 px 阈值下分别达到 0.5 和 0.7 的二维 PCK,而 EasyHeC 19 分别只有 0.05 和 0.55。尽管 EasyHeC 使用数据增强在合成数据上训练分割模型,其对真实世界图像的泛化仍具挑战。相比之下,我们的方法利用预训练图像模型的泛化能力预测分割掩码。这不仅消除了训练中耗时而复杂的数据增强需求,还产生更高质量的掩码,从而获得更高 PCK 值。
表 V|Baxter 数据集上的二维 PCK 评估结果。给出不同阈值下的二维 PCK 分数。
| 方法 | 10 px | 20 px | 30 px | 40 px | 50 px | 100 px | 150 px |
|---|---|---|---|---|---|---|---|
| DREAM 15 | - | 0.16 | 0.23 | 0.29 | 0.33 | 0.52 | 0.62 |
| OK 16 | - | 0.34 | 0.54 | 0.66 | 0.69 | 0.88 | 0.93 |
| IPE 18(box) | - | - | - | - | 0.65 | 0.94 | 0.95 |
| IPE 18(cylinder) | - | - | - | - | 0.80 | 0.91 | 0.93 |
| IPE 18(CAD) | - | - | - | - | 0.74 | 0.90 | 0.94 |
| EasyHeC(1 视图) | 0.1 | 0.35 | 0.55 | 0.75 | 0.90 | 0.95 | 0.95 |
| EasyHeC(2 视图) | 0.15 | 0.40 | 0.75 | 0.95 | 1.00 | 1.00 | 1.00 |
| EasyHeC(3 视图) | 0.05 | 0.55 | 0.85 | 1.00 | 1.00 | 1.00 | 1.00 |
| 我们的方法(1 视图) | 0.25 | 0.5 | 0.75 | 0.75 | 0.85 | 0.95 | 1.00 |
| 我们的方法(2 视图) | 0.5 | 0.55 | 0.9 | 0.9 | 0.9 | 1.00 | 1.00 |
| 我们的方法(3 视图) | 0.5 | 0.7 | 0.85 | 0.95 | 1.00 | 1.00 | 1.00 |
表 VI|Baxter 数据集上的三维 PCK 评估结果。
| 方法 | 2 cm | 5 cm | 10 cm | 20 cm | 30 cm | 40 cm |
|---|---|---|---|---|---|---|
| DREAM 15 | 0.01 | 0.08 | 0.32 | 0.43 | 0.54 | 0.66 |
| OK 16 | 0.10 | 0.34 | 0.54 | 0.66 | 0.69 | 0.88 |
| IPE 18(box) | - | - | 0.8 | 0.95 | 0.95 | 0.95 |
| IPE 18(cylinder) | - | - | 0.71 | 0.93 | 0.94 | 0.95 |
| IPE 18(CAD) | - | - | 0.78 | 0.93 | 0.97 | 1.00 |
| EasyHeC(1 视图) | 0.10 | 0.65 | 0.90 | 1.00 | 1.00 | 1.00 |
| EasyHeC(2 视图) | 0.15 | 0.80 | 0.95 | 1.00 | 1.00 | 1.00 |
| EasyHeC(3 视图) | 0.15 | 0.80 | 0.90 | 1.00 | 1.00 | 1.00 |
| 我们的方法(1 视图) | 0.15 | 0.75 | 0.95 | 1.00 | 1.00 | 1.00 |
| 我们的方法(2 视图) | 0.2 | 0.6 | 0.95 | 1.00 | 1.00 | 1.00 |
| 我们的方法(3 视图) | 0.3 | 0.65 | 0.90 | 1.00 | 1.00 | 1.00 |
【分析·把正文的泛化表述与逐格数据分开】
原文称二维、三维 PCK 更好,但不是逐个阈值、逐个视图都严格最好。例如表 VI 的 5 cm 阈值:EasyHeC 2/3 视图为 0.80,本方法 2/3 视图为 0.6/0.65;表 V 的 40 px 阈值:EasyHeC 3 视图 1.00,本方法 3 视图 0.95。本文照译作者论述,同时保留全部反例数值。更严格阈值下有所提升比"所有 PCK 全面领先"更符合证据。PCK 是某阈值内关键点比例,不应与表 I--IV 的外参旋转/平移均值直接互换。
IV-C 真实世界评估(Real-world Evaluations)
表 VII|眼在手外设置下,真实世界高精度指点实验的误差。
| 方法 | DREAM | EasyHeC | EasyHeC(SAM) | 我们的方法 |
|---|---|---|---|---|
| 误差(cm) | 1.5 | 0.4 | 0.3 | 0.3 |
表 VIII|眼在手上设置下,真实世界高精度指点实验的误差。误差在 10 次指点试验上计算。
| 方法 | Zhang 等 23 | Valassakis 等 12 | 我们的方法 |
|---|---|---|---|
| 误差(cm) | 1.35 | 4.30 | 0.31 |
除了真实世界 Baxter 数据集 18 外,我们还在真实世界设置中评估我们的方法。实验使用 xArm7 机械臂与 RealSense 相机;在眼在手外和眼在手上设置中,相机分别放置在附近三脚架上或安装在末端执行器上。应用我们的标定方法后,我们遵循先前工作 19 所述流程进一步评估。该流程把 ArUco 标记的一个角点转换到机器人基座坐标系,让机器人尖端触碰该角点,并人工测量尖端与角点之间的误差。结果见表 VII 和表 VIII,我们的方法在两种设置下均达到最低误差。在眼在手外设置中,值得注意的是 EasyHeC(SAM)和我们的方法都利用 SAM 模型预测掩码。然而,前者需要人工标注边界框提示,而我们的方法不需要,因而提高了自动化程度。
【分析·"无标记标定"与"用标记评测"不矛盾】
标定阶段用的是机器人自身几何和图像掩码;标定完成后的指点评测借助 ArUco 提供目标位置。这里评测的是端到端指点误差,还混合了目标定位、机器人执行、尖端几何及人工测量等误差,不能全部归因于外参。表 VII 的本方法 0.3 cm 与 EasyHeC(SAM)并列最低,而非严格更低;最直接的新收益是免手工框。表 VIII 为 10 次指点,原文表 VII 未注明同样试次数,不能自行补成两表都 10 次。
IV-D 消融研究(Ablation Study)
自动位姿初始化。 我们比较 EasyHeC 19 与所提方法中的不同位姿初始化方法。结果见表 IX。EasyHeC 在合成数据上训练 PVNet 42,以在机械臂零关节姿态下初始化相机位姿。我们的采样式初始化和特征匹配式初始化,相较 PVNet 都达到更高精度。采样式初始化对掩码质量具有鲁棒性,而特征匹配式方法有效利用已有标定结果来初始化位姿。值得注意的是,采样式方法精度更高,但更耗时,需要驱动机械臂移动到多个关节姿态,大约花费 10 分钟。相比之下,特征匹配式方法只要求机械臂与数据库图像具有相同关节姿态,避免机械臂运动,因此更高效。
表 IX|位姿初始化消融研究。误差在 xArm 眼在手外合成数据集上计算。训练时间/推理时间在 RTX 4090 GPU 上报告。
| 方法 | 旋转误差(°)↓ | 平移误差(cm)↓ | 时间↓(训练/推理) |
|---|---|---|---|
| EasyHeC(PVNet) | 3.94 | 2.40 | 10h+/100ms |
| 我们的方法(采样) | 0.10 | 0.26 | 0/\\sim10\\text{min} |
| 我们的方法(特征匹配) | 2.33 | 1.80 | 0/6s |
【分析·不要把初始化表当最终标定表】
采样初值的 0.10°/0.26 cm 并非表 I--II 的最终结果;匹配初值的 2.33°/1.80 cm 也仍需后续优化。表 IX 比较的是"是否为机械臂训练专用初始化器"及"能多快给优化器一个可用起点"。其中采样约 10 分钟含机器人移动,PVNet 的 100 ms 是网络推理;其时间口径并非全部相同的纯 GPU 计算时长。论文说已有库时避免机械臂运动,严格理解是机械臂已处于参考姿态;若原本姿态不同,回到参考姿态仍需运动。
输入 SAM 模型的不同提示。 在此消融研究中,我们在 xArm 合成数据集上比较不同 SAM 提示。定性与定量结果分别见图 4 和表 X。最直接的提示是对整条机械臂使用单个边界框,但我们观察到这一提示缺乏精度,如图 4(a) 所示。这是因为空间探索模块倾向于产生扭曲的关节姿态,使 SAM 模型难以生成精确掩码。此外,真实世界场景可能存在桌面或其他物体造成的遮挡,以及机械臂上不希望被分割出的附件(例如手上相机),进一步降低单边界框提示的精度。把单边界框提示与中心点提示结合,甚至可能降低精度,如图 4(b) 所示。虽然使用逐连杆边界框,如图 4(c) 和图 4(d) 所示,可以提高精度,但仍然有些不稳定,有时会遗漏相邻连杆之间的连接件。最准确的提示涉及为每根连杆和每对相邻连杆之间的连接件使用边界框,如图 4(e) 和图 4(f) 所示。这种全面的提示配置,在生成精确掩码方面取得最高精度。
图 4|输入 SAM 模型的不同类型提示的消融研究。 (a)以整条机械臂的单个边界框作为提示。(b)以机械臂的单个边界框及其中心点作为提示。(c)以逐连杆边界框作为提示。(d)以逐连杆边界框及其中心点作为提示。(e)以各连杆及各连接件的边界框作为提示。(f)以各连杆及各连接件的边界框和其中心点作为提示。为清晰起见,未画出(c)到(f)中的全部提示。
表 X|在 xArm 眼在手外合成数据集上测试不同 SAM 提示类型的掩码 IoU 比较。EasyHeC 在 RTX 4090 GPU 上训练超过 20 小时,而我们的方法无需训练。(a)--(f)的含义见图 4。
| 方法 | 边界框提示 | 点提示 | 连接件 | 掩码 IoU↑ |
|---|---|---|---|---|
| EasyHeC | - | - | - | 96.3 |
| 我们的方法(a) | 单个 | 无 | 无 | 92.3 |
| 我们的方法(b) | 单个 | 有 | 无 | 93.0 |
| 我们的方法(c) | 逐连杆 | 无 | 无 | 93.7 |
| 我们的方法(d) | 逐连杆 | 有 | 无 | 94.2 |
| 我们的方法(e) | 逐连杆 | 无 | 有 | 98.2 |
| 我们的方法(f) | 逐连杆 | 有 | 有 | 98.2 |
【分析·消融真正支持的是"连接件框",不是"提示越多越好"】
单框→逐连杆框:92.3→93.7;加连接件框:93.7→98.2;在含连接件配置上再加中心点:98.2→98.2,没有显示额外增益。原文说加中心点"可能降低精度",是图 4 的定性描述,但表 X 的平均 IoU 却显示 (a)→(b) 为 92.3→93.0,(c)→(d) 为 93.7→94.2;不能据此说中心点平均一定有害。这种定性实例与平均统计的区别应保留。表注把 (a)--(f) 称为"Roman numerals",实际是字母子图标签,中文按其实际指代翻译,并在核查清单记录。
V 结论(Conclusion)
本工作提出 EasyHeC++,能够以无标记、无训练、全自动方式标定任意机械臂。我们的主要方法由位姿初始化阶段和位姿优化阶段组成。通过融合预训练图像模型的泛化能力与基于优化方法的精确性,EasyHeC++ 实现了一条全自动管线。实验表明,对于不同机械臂与相机设置,我们的方法在合成与真实世界数据集上都产生更高的精度和自动化程度。这项工作为实验室和家庭应用 1,2,3,4,5,43,44 开辟了更多可能,这些应用需要手眼标定来缩小仿真到现实差距,例如机器人操作与抓取。
【分析·证据能支撑到哪里】
论文给出的实际机械臂/数据覆盖以 xArm 和 Baxter 为主,包含两种相机安装形式、合成精度、Baxter PCK 和真机指点;没有对"任意机械臂"的所有几何、遮挡、反光、相机内参误差、网格精度进行穷尽验证。结论的跨本体优势应理解为"不需要逐机械臂训练专用视觉网络的设计",而不是已证明所有本体上都能达到 3 mm。正文没有单独的局限性章节,后文的可辨识性与失败模式是本文分析,不冒充作者已经证明的定理。
读完方法后:自动标定到底是怎样算出来的?
【分析·从输入到输出的可执行逻辑】
以下是对 III 节的重组解释,不是论文新增的算法框,也不是已运行的复现结果。
- 准备已知量。 机器人各连杆几何、关节运动学、当前关节读数、相机 RGB 图像,以及渲染投影所用相机模型/内参。论文的"只需机械臂、相机与模型"不应被理解为无需相机投影参数;本文没有发现联合估计相机内参或机器人运动学参数的设计。
- 估计粗外参。 第一次 eye-to-hand 标定走 GroundedSAM 掩码与半球候选匹配;相机移动后的重标定走图像检索→DKM 对应→PnP-RANSAC;首次 eye-in-hand 则按 III-F 手动初始化。
- 按几何投影自动给 SAM 提示。 当前外参加正运动学,生成连杆/连接件框;SAM 从真实图像预测各部件掩码,合并成 M。
- 固定观测,调整外参。 在当前一轮掩码监督下,以式(1)或式(3)对六自由度外参做可微优化,使渲染出的机器人轮廓贴合真实分割。原文没有说训练 SAM 或 DKM 的参数。
- 挑下一姿态。 在仿真关节空间评估候选姿态,选信息量大的那个,让真实机器人移动并拍照。eye-in-hand 先约束末端朝向基座,再用逆运动学得关节角,以提高机器人可见性。
- 多帧共同精炼。 以已收集的所有图像重新优化同一固定手眼变换;重复到预定空间探索迭代数。
- 保存重标定参考。 保存初始关节姿态下的图像及最终外参,下次相机挪动时复用。最后输出的是 T_{cb} 或 T_{ce},不是目标抓取策略。
【分析·一个直观例子】假设真实图像中,机械臂的上臂在画面左侧,而当前外参渲染出的上臂偏右。若分割可靠,掩码损失对外参产生梯度,让虚拟相机与机器人之间的相对姿态改变,投影逐步对齐。只看一根接近圆柱形的连杆,某些转动可能几乎不改变轮廓;于是机器人换成弯折姿态,再从另一种几何关系约束同一个外参。这个"多姿态、同一外参"才是主动采集的意义,不是每一帧分别随便拟合一个矩阵。
观测、可辨识条件与失败模式
【分析·这是几何条件分析,不是论文已经证明的充分条件】
论文给出了优化目标与实验,没有给出完整可辨识性定理。因此下列条件是从其观测模型推导的必要检查点,不能写成作者已证明"满足就一定成功"。
- 几何尺度与关节状态须可靠。 网格尺度、关节角、连杆变换有误,优化器可能用错误外参补偿模型误差。仅凭低掩码损失无法区分"外参错"与"机器人模型错"。
- 相机投影须匹配。 内参、畸变校正、RGB 与关节采样同步误差都会改变投影。算法没有在式(1)--(3)中联合优化这些量。
- 可见区域须真正含外参信息。 严重截断、只有近似直线/圆柱轮廓、近轴对称结构、夹爪占满视野时,某些外参方向改变却不显著改变掩码。eye-in-hand 的视向约束与排除夹爪,是对这一问题的工程处理,不是普遍消除歧义的证明。
- 多姿态应提供互补而非重复约束。 反复采集几乎相同的投影,即使图像数量多,也未必增加足够几何信息。空间探索旨在主动改善这一点;原文没有报告所有失败状态下的信息矩阵秩或条件数。
- 匹配初始化需要有效对应。 DKM 对反光、低纹理表面的经验表现不等于无条件可靠;新旧图重叠太小、相同结构被错配、三维点分布退化,PnP 仍可失败。RANSAC 主要处理离群对应,不会自动修复所有几何退化。
- 优化有局部收敛域。 离正确外参太远可能导致渲染与真实掩码不重叠,或者 AutoSAM 框误导分割。半球采样/历史匹配是为进入可优化区域,而不是全局最优性保证。
若把全部有效像素与帧的残差组成
,在局部分析中可以检查其雅可比
是否对六个外参自由度提供独立约束;这是通用局部可辨识性诊断,不是本文新增编号公式,也不是原文提出的判据。满列秩至多说明局部一阶可区分,仍不排除远处对称解、错误分割和非线性局部极小。
与 EasyHeC、CtRNet、DRHeC 的位置关系
【分析·先按优化对象比较,而非跨论文拼分数】
表中 EasyHeC / EasyHeC++ 的区别直接来自本文 II-A、III 节;CtRNet 的说明核对其 CVPR 2023 原文 §3.1--3.2(arXiv:2302.14332);DRHeC 核对其原文 §III-B--IV(arXiv:2609.36779)。这两篇不是 EasyHeC++ 的同设置基准结果,下面只是机制比较。
| 方法 | 关键机制与优化对象 | 与 EasyHeC++ 的主要关系 | 证据定位 |
|---|---|---|---|
| EasyHeC(原版) | 专用视觉模块提供初始化和掩码,直接优化相机外参;一致性关节空间探索 | EasyHeC++ 继承后两项,主要自动化前两项输入来源,并加入快速重标定及 eye-in-hand | 本文 II-A、III-A;19 |
| EasyHeC++ | 预训练模型提供分割/对应;几何自动提示 SAM;掩码可微渲染直接优化外参 | 主要卖点是减少逐机器人训练和人工提示,不是增加 RGB 外观损失 | 本文 III-C--F、表 IX--X |
| CtRNet(CVPR 2023 原版) | 合成预训练;关键点检测 + 可微 PnP 估计位姿;渲染掩码误差反传训练/适配网络 | 同用渲染监督,但核心训练优化变量是网络参数;EasyHeC++ 标定时直接优化六自由度外参,不是训练关键点网络 | CtRNet §3.1 式(1)、§3.2;本地原文 2302.14332.txt |
| DRHeC | RGB 可微渲染 + 掩码质心/面积几何约束;带掩码一致性约束的 real-to-sim I2IT | 着重改善轮廓监督的信息不足和优化梯度稳定性;与 EasyHeC++ 自动初始化/自动提示侧重点不同 | DRHeC §III-B--IV;本地原文 DRHeC-2609.36779.txt |
【分析·必须防止的两种混淆】
一,可微渲染不等于同一种训练算法。 CtRNet 的真实图像自监督在训练网络;EasyHeC++ 让网络提供观测,再直接标定外参。二者都出现掩码损失,但"梯度传给谁"不一样。
二,本论文的 IPE 18 不是 CtRNet。 18 是 Lu、Liu、Girerd、Yip 的 ICRA 2023 可微渲染位姿/形状工作;CtRNet 是 Lu、Richter、Yip 的 CVPR 2023 工作。不能把表 V--VI 的 IPE 行改名为 CtRNet,也不能说本论文已经在这些表里直接对比了 CtRNet。DRHeC 发表更晚,不能把它写成 2024 年本文的原始实验基线。本文没有建立同一数据、初始化、时延预算下 EasyHeC++ 与 DRHeC 的性能排序。




