摘要
本文提出了一个高精度模拟平台 DualTHOR，用于模拟双臂仿人机器人在现实世界中执行任务的情况，并评估其规划能力和鲁棒性。许多传统模拟器都是围绕轮式或单臂机器人设计的，往往会忽略物理不确定性和可能出现的故障。这限制了它们在现实世界中的应用。
DualTHOR 是对 AI2-THOR 的扩展，具有双臂机器人（Unitree H1 和 Agibot X1）的多种任务套件、基于物理的逆运动学、连续运动控制以及 "执行过程中的故障（如断裂、溢出）模拟应急机制"。这种机制使代理能够弥合计划期间的意图与现实中的不确定性之间的差距，并有望培养出高度适应现实世界的代理。
此外，还使用最新的视觉语言模型（VLM）进行了基线评估，结果表明当前模型在处理双臂任务和不确定性方面仍存在挑战。
建议的方法
DualTHOR 遵循 AI2-THOR 的基本设计，但假定是一个仿人双臂机器人。它由三个主要部分组成。
首先是双臂任务的专用任务设计。它定义了大量需要复杂操作的家庭任务，假定单臂难以完成的动作（例如，一手拿杯，一手倒水）。任务分为 "双臂强制任务"、"双臂可选任务 "和 "单臂任务"，这种设计增强了模型的通用性和灵活性。
其次是物理连续动作控制。在 X1 和 H1 中，IK 的配置不同，X1 提供单臂控制，而 H1 则提供全身协调的双臂控制。
第三是应急机制。每个动作都有一定的失败概率（如杯子打碎、液体溢出），因此模型需要制定恢复计划。通过这一机制，可以对模型进行评估，包括评估其在计划失败时的重建能力。
实验
在实验中，使用 GPT-4o 和 Gemini 1.5 Pro 等大型 VLM、Qwen2.5-VL 等开放式模型以及 DAG-Plan 等结构化提示对包含 10 个不同房间、68 个对象和 356 个任务的模型进行了评估。
评估分为 "双臂强制"、"双臂可选 "和 "单臂 "三个类别，另外还有三个难度级别（简单、中等和困难）和不同的行为成功率，以比较各种条件下的成功率。
结果表明，现有的 VLM 在所有类别的双臂基本任务中成功率都很低，尤其是在复杂任务和意外情况下，性能明显降低。例如，即使使用 DAG-Plan，双臂任务的成功率也只有 40% 左右，而且还发现了对动态重新规划和手臂相互干扰处理不当的例子。
实验还使用了 "连续物理渲染"（例如，描绘水的逐渐积累），以检查 VLM 是否能够跟踪视觉变化并更新其理解和规划。通过这样的设计，DualTHOR 揭示了当前技术的局限性，并对 VLM 的未来发展提出了明确的挑战。