在机器人学习研究中,准确衡量和比较机器人策略(Robot Policies)的性能一直是一项艰巨的任务。传统的实机测试受限于随机性、低复现性以及极高的时间与人力成本 。随着通用型机器人大模型(如 Vision-Language-Action 模型,VLA)的兴起,机器人需要在多样化的场景中执行任务,这使得在大规模真实环境下进行性能验证变得愈发困难 。
为了突破这一瓶颈,研究人员提出了 PolaRiS(Policy Evaluation and Environment Reconstruction in Simulation)框架。该框架以 Franka Research 3 (FR3) 机械臂为核心实验平台,通过高精度的"实对虚"(Real-to-Sim)技术,构建了一个可扩展、高保真且具备强真实感关联的仿真评估体系 。

图 1 | PolaRiS 框架概述。
核心硬件平台:Franka Research 3 (FR3)
在 PolaRiS 的开发与验证过程中,Franka Research 3(以下简称 FR3)机械臂发挥了关键作用。作为 DROID 平台的核心组成部分,FR3 是一款具备 7 个自由度(7-DoF)的协作型机器人手臂 。其高度的灵活性和精确的动力学特性,使其成为验证复杂操纵策略的理想工具。
在 PolaRiS 框架中,FR3 的应用具有以下技术特点:
多传感器集成:实验配置通常结合了 FR3 手臂与两台 ZED RGB 摄像头,其中一台摄像头安装在机器人的手腕处 。这种配置要求仿真系统必须支持手腕相机的动态渲染,而 PolaRiS 通过 3D 场景重建完美解决了这一需求
动作空间选择:虽然 FR3 支持关节速度和关节位置两种控制模式,但研究发现采用关节位置(Joint Position)动作空间在仿真中更为精确,因为其累积误差相对较小,更有利于实现"虚实结合"的准确评估 。
PolaRiS 框架:从视频到可交互仿真
PolaRiS 的核心优势在于其能够将一段 2-5 分钟的真实世界单目视频,快速转化为高保真的交互式仿真环境 。这一过程主要分为三个步骤:

图 2 | PolaRiS 的仿真环境构建流程。
- 环境与机器人的神经重建
利用 2D 高斯泼溅(2DGS) 技术,PolaRiS 能够还原环境的视觉细节与几何结构 。研究人员分别为静态背景和 FR3 机械臂录制视频,从而训练出独立的 2DGS 模型 。这种解耦方法允许机器人在仿真空间中根据其真实的运动学链路进行自由活动 。
- 自动化关节连接(Automatic Articulation)
为了让仿真的 FR3 动起来,PolaRiS 将高斯原语锚定到机器人的运动学连杆上 。这意味着,当机器人的关节配置发生改变时,对应的视觉表现会同步更新,从而实现光影效果与物理运动的高度一致 。
- 场景合成与物体生成
通过专门开发的图形用户界面(GUI),用户可以在 5 分钟内完成场景合成 。物体模型则采用 TRELLIS 等生成模型从单张照片中快速构建,极大地降低了资产创建的门槛 。

图 3 | 场景组合图形用户界面的场景制作示例。
消除"虚实鸿沟":轻量化协同训练
尽管视觉精度已显著提升,但仿真与现实之间仍存在细微差异(如光影变化),这会影响机器人的决策判断 。PolaRiS 引入了一种策略无关的仿真数据协同训练方案(Co-training) :
极低数据需求:仅需几百个仿真示范序列和少量的微调步骤(通常在 25 分钟内完成) 。

图 4 | PolaRiS 仿真协同训练数据集环境。
跨场景通用性:微调后的策略可以在从未见过的仿真环境中进行"零样本"评估,而无需为每个新场景重新收集数据 。
实验验证:极高的真实世界相关性
在涉及 FR3 机械臂的多项任务(如堆叠方块、清理平底锅、整理工具等)中,PolaRiS 展示了卓越的评估能力 。实验数据显示,PolaRiS 的仿真评分与真实世界表现的 Pearson 相关系数达到了 0.9,远高于现有的 LIBERO 等通用仿真基准 。这证明了该框架能够准确预测不同 AI 模型在实际部署中的优劣顺序 。

图 5 | 评估环境。上图为真实物理环境,下图为 PolaRiS 仿真评估复刻环境。研究通过高斯溅射技术完成场景重建、借助 TRELLIS 模型生成物体资产,打造出高视觉保真度的仿真评估环境。
结论与展望
以 Franka Research 3 为核心平台的 PolaRiS 框架,标志着机器人策略评估向自动化、规模化迈出了重要一步 。它不仅显著降低了评估成本,还通过开源工具链推动了机器人基础模型(Robotic Foundation Models)的民主化发展 。
在未来,这种高精度的"实对虚"技术将成为连接实验室研究与大规模工业应用的重要桥梁,助力更智能、更稳健的通用机器人走向现实。