Franka & DROID :面向真实场景的机器人操作数据集

在机器人学习领域,高质量、多样化的真实环境数据集,是训练泛化能力良好的操作策略的重要基础。DROID(分布式机器人交互数据集)项目,正是面向这一需求搭建的大规模野外机器人操作数据集,为通用机器人策略研究提供了重要的数据支撑。

标定参数以及自然语言任务指令,项目同时开源数据集、训练代码和硬件复现指南,方便全球科研人员开展实验。对比其他同类数据集,DROID 在场景、视角、交互位置的多样性上具备不错的表现,实验表明,使用 DROID 参与联合训练,能够提升机器人策略在分布外场景下的成功率与鲁棒性。

DROID: A Large-Scale In-the-Wi

Franka Research 3在DROID项目中的角色

DROID数据集采集所采用的标准化硬件平台,以Franka Research 3(FR3)七自由度机械臂为核心。

(一)Franka作为统一的硬件基准

DROID的分布式采集涉及18套机器人硬件,分散于全球不同实验室。为保证数据的一致性和可复现性,所有采集点采用相同的硬件配置:Franka Research 3机械臂搭配Robotiq 2F-85夹爪,辅以两台Zed 2外部立体相机和一台腕部Zed Mini相机。

力控特性适配遥操作数据采集 7 自由度的机械臂搭配 Robotiq 夹爪,全关节扭矩传感支持力反馈,配合 VR 头显实现直观的主从遥操作。科研人员通过手柄拖动示教,就可以完成各类日常操作任务,完成抓取、摆放、开关厨具等复杂任务的演示录制,产出贴近人类操作习惯的机器人轨迹数据。机器人以 15Hz 频率记录关节空间、末端执行器空间的动作信号,为模仿学习提供完整动作信息。

开放软件生态,支撑大规模数据记录 依托 Polymetis 控制框架,机械臂能够稳定输出关节位置、速度、末端位姿等底层状态数据,和多相机的视觉数据流完成时间同步。开放的软件接口方便研究团队搭建定制化的数据采集 GUI,实现任务随机采样、场景自动变换提示、数据元信息标注等功能,支撑数万条轨迹的批量记录工作。

总结

DROID数据集的规模与多样性,使其成为机器人操作领域的重要数据资源。而Franka Research 3作为该数据集的标准化硬件平台,凭借其技术性能与社区生态,为分布式、跨场景的数据采集提供了可行的硬件基础。随着更多研究机构采用这一平台,DROID数据集的可复现性和可扩展性有望得到进一步增强。

项目详情:https://droid-dataset.github.io/

相关推荐
小和尚同志5 小时前
小黑插图 Skill:从 11.7k star 的 Codex 专属,到 Claude Code 能用的平替
人工智能·aigc
高洁015 小时前
孪生不止在工厂:能源、医疗与农业
人工智能·深度学习·transformer·知识图谱·tornado
外域速览5 小时前
智谱50亿美元押注AI自训练
大数据·人工智能
人工智能培训5 小时前
孪生不止在工厂:能源、医疗与农业
大数据·人工智能
米小虾5 小时前
让模型说"我不知道",比让它答对更难:放弃文本生成能换来什么
人工智能
新新学长搞科研5 小时前
【SPIE出版】2026年人工智能、新材料与新能源国际学术会议(AINMNE 2026)
人工智能·新能源·新材料
野生技术架构师5 小时前
2026 Java 面试全套总结,八股 + 场景 + AI 相关面试考点
java·人工智能·面试
日拱一卒的小田6 小时前
ZYNQ学习笔记4-ZYNQ的SD卡控制器1
笔记·学习
米小虾6 小时前
不写出来的思考:把 Transformer 的层循环起来,是第三条 scaling 轴还是省错了地方?
人工智能
A.说学逗唱的Coke6 小时前
【大模型专题】别再用 HTTP 直连 Agent 了:用 Kafka 承载 A2A 协议,从 PoC 走到生产
人工智能·kafka·a2a