我们介绍了 RoboMIND，这是机器人操纵的多体现智能规范数据的基准，包括 4 个实施例、279 个不同任务和 61 个不同对象类别的 55k 真实世界演示轨迹。
工业机器人企业
埃斯顿自动化 | 埃夫特机器人 | 节卡机器人 | 珞石机器人 | 法奥机器人 | 非夕科技 | CGXi长广溪智造 | 大族机器人 | 越疆机器人 | 优艾智合机器人 | 阿童木机器人 | 盈连科技 | 松灵机器人
服务与特种机器人企业
亿嘉和 | 晶品特装 | 九号机器人 | 普渡机器人 | 机器姬 | 猎户星空 | 七腾机器人
医疗机器人企业
元化智能 | 天智航 | 思哲睿智能医疗 | 精锋医疗 | 佗道医疗 | 真易达 | 术锐®机器人 | 罗森博特 | 磅客策 | 柏惠维康 | 迪视医疗
人形机器人企业
优必选科技 | 宇树 | 达闼机器人 | 云深处 | 理工华汇 | 傅利叶智能 | 逐际动力 | 乐聚机器人 | 星动纪元 | 天链机器人| 中科深谷 | 大象机器人| 伟景机器人 | 众擎机器人 | 开普勒人形机器人 | 数字华夏 | 帕西尼感知
具身智能企业
跨维智能 | 银河通用 | 千寻智能 | 方舟无限 | 微亿智造 | 睿尔曼智能 | 灵心巧手
核心零部件企业
绿的谐波 | 因时机器人 | 脉塔智能 | 锐驰智光 | 地平线 | 本末科技 | NOKOV度量科技 | 青瞳视觉 | 因克斯 | 蓝点触控 | 福德机器人 | 巨蟹智能驱动 | 鑫精诚传感器 | 思岚科技 | 宇立仪器 | 极亚精机 | 神源生
教育机器人企业
硅步机器人 | 史河科教机器人 | 大然机器人
伴随着全球人工智能技术飞速进步，具身智能产业迅猛发展，赋予机器人类人化的泛化能力是具身智能机器人技术的核心目标之一，实现这一目标的关键在于如何使各类机器人本体在面对多样化的环境和任务时，能够展现出卓越的性能。
正如ChatGPT需要海量文本数据来训练一样，想要培养出一个能力全面的机器人，也需要大量优质的训练数据，数据集是具身智能技术发展的重要基石。与视觉或语言数据的获取相比，收集机器人训练数据远比收集文本或图像数据困难得多，需要在专门的环境中记录机器人的每个关节动作和末端执行器的信息，这个过程不仅需要昂贵的硬件设备，还需投入大量人力来确保数据质量，因而业内目前最具通用性的机器人操作策略主要依赖于在有限多样性条件下收集的数据，大规模多构型具身智能数据集和Benchmark是极为稀缺的资源。
为了解决这个难题，国家地方共建具身智能机器人创新中心与北京大学计算机学院联合推出了一个大规模多构型智能机器人数据集和Benchmark------RoboMIND，捕捉机器人面对复杂环境、长程任务时的各种交互和经验，从而促进能够掌握不同操作策略的通用模型的训练。RoboMIND包含5万5千条机器人轨迹数据，涉及279项不同的任务，涵盖了高达61种不同的物体，覆盖了家居、厨房、工厂、办公、零售等大部分生活服务场景。此外，该数据集包含根据真实场景搭建的数字孪生场景，进一步丰富和扩充了此数据集的多样性，同时提升数据采集效率。机器人构型包含单臂机器人、双臂机器人、人形机器人，手臂末端使用夹爪或者灵巧手。为了评估RoboMind数据集的质量，研究团队在主流单任务模仿学习模型上（如ACT）和具身多模态大模型上（如OpenVLA、RDT-1B）进行了广泛的评测，发现RoboMIND数据集可以有效提升模仿学习模型在现实场景下任务的成功率。该评测得到了北京智源人工智能研究院的大力支持。
RoboMIND为机器人操作模型的训练提供了一个高质量、广泛多样的数据基础，旨在提升机器人在复杂环境中的操作能力和适应性。通过大规模、多样化的数据集，机器人模型能够更好地适应各种任务和环境变化，从而推动通用机器人技术的发展。
RoboMIND 数据分析
数据集概述。（a） 按实施例分类的总轨迹，（b） 按实施例分类的轨迹长度，（c） 按任务类别分组的总轨迹，以及 （d） 基于对象使用场景的总轨迹。
RoboMIND 中的对象分布，覆盖大多数日常生活环境：家庭、工业、厨房、办公和零售。
左 图：四个实施例中跨任务的技能计数 的直方图。AgileX 任务通常涉及两个或三个组合技能，从而扩展了任务范围。同时，天功任务的长度各不相同，有些任务每个任务最多包含五个技能。右图：我们使用 AgileX 机器人可视化 AX-PutCarrot 任务，该任务涉及三种不同的技能。
语言描述注释。我们为 10,000 个成功的机器人运动轨迹提供精细的语言注释。
失败数据收集案例的可视化。我们展示了 Franka 和 AgileX 的两个失败示例。在 FR-PlacePlateInPlateRack 任务（第二行）中，Franka 机械臂无法与插槽对齐，导致印版因操作员干预而滑动。在 AX-PutCarrot 任务（第四行）中，AgileX 夹持器意外打开，胡萝卜掉落。在质量检查期间筛选掉了这些失败情况，以保持数据集质量。
RoboMIND 实验
我们采用四种流行的模仿学习方法进行综合实验，包括 ACT、 BAKU、RDT-1B 和 OpenVLA 在选定的 RoboMIND 任务上评估其性能和局限性。实验视频如下：1.ACT on Single Tasks 的成功示 例 2.RTD-1B 在多任务设置上的成功案例 3.OpenVLA 多任务设置成功案例
https://space.bilibili.com/397174233/channel/collectiondetail?sid=4427523&spm_id_from=333.788.0.0
咨询来源：官方网站RoboMIND: Benchmark on Multi-embodiment Intelligence Normative Data for Robot Manipulation