RoboCasa 是一个针对家用环境的大规模机器人模拟训练框架，它包含了 120 个真实的厨房场景和数千个 3D 物体资产，涵盖超过 150 个物体类别。该框架支持不同类型的机器人，包括移动操作机器人和类人机器人，并提供了 100 个多样化的任务，用于系统评估。这些任务包括基础的传感器运动技能，如抓取和放置、开关门、打开抽屉等，以及更复杂的组合任务，如烹饪和清洁活动。
RoboCasa 利用生成式 AI 工具，如文本到 3D 模型的转换，以及文本到图像模型的环境纹理，来创建多样化的环境和任务。此外，该框架还使用大型语言模型来指导任务的创建，以确保任务的多样性和真实性。
为了收集数据集，研究人员首先通过人类遥控收集了高质量的演示数据，然后使用 MimicGen 等自动轨迹生成工具，大幅扩展了数据集的规模。实验结果表明，通过模拟生成的数据可以显著提高机器人政策学习的性能，并且在现实世界中的任务中也表现出了良好的效果。
论文初读：
