Franka & DROID :面向真实场景的机器人操作数据集

在机器人学习领域,高质量、多样化的真实环境数据集,是训练泛化能力良好的操作策略的重要基础。DROID(分布式机器人交互数据集)项目,正是面向这一需求搭建的大规模野外机器人操作数据集,为通用机器人策略研究提供了重要的数据支撑。

标定参数以及自然语言任务指令,项目同时开源数据集、训练代码和硬件复现指南,方便全球科研人员开展实验。对比其他同类数据集,DROID 在场景、视角、交互位置的多样性上具备不错的表现,实验表明,使用 DROID 参与联合训练,能够提升机器人策略在分布外场景下的成功率与鲁棒性。

DROID: A Large-Scale In-the-Wi

Franka Research 3在DROID项目中的角色

DROID数据集采集所采用的标准化硬件平台,以Franka Research 3(FR3)七自由度机械臂为核心。

(一)Franka作为统一的硬件基准

DROID的分布式采集涉及18套机器人硬件,分散于全球不同实验室。为保证数据的一致性和可复现性,所有采集点采用相同的硬件配置:Franka Research 3机械臂搭配Robotiq 2F-85夹爪,辅以两台Zed 2外部立体相机和一台腕部Zed Mini相机。

力控特性适配遥操作数据采集 7 自由度的机械臂搭配 Robotiq 夹爪,全关节扭矩传感支持力反馈,配合 VR 头显实现直观的主从遥操作。科研人员通过手柄拖动示教,就可以完成各类日常操作任务,完成抓取、摆放、开关厨具等复杂任务的演示录制,产出贴近人类操作习惯的机器人轨迹数据。机器人以 15Hz 频率记录关节空间、末端执行器空间的动作信号,为模仿学习提供完整动作信息。

开放软件生态,支撑大规模数据记录 依托 Polymetis 控制框架,机械臂能够稳定输出关节位置、速度、末端位姿等底层状态数据,和多相机的视觉数据流完成时间同步。开放的软件接口方便研究团队搭建定制化的数据采集 GUI,实现任务随机采样、场景自动变换提示、数据元信息标注等功能,支撑数万条轨迹的批量记录工作。

总结

DROID数据集的规模与多样性,使其成为机器人操作领域的重要数据资源。而Franka Research 3作为该数据集的标准化硬件平台,凭借其技术性能与社区生态,为分布式、跨场景的数据采集提供了可行的硬件基础。随着更多研究机构采用这一平台,DROID数据集的可复现性和可扩展性有望得到进一步增强。

项目详情:https://droid-dataset.github.io/

相关推荐
深圳讯鹏科技19 分钟前
工业视觉计数落地实践:米厂米袋多目标检测与越线计数的边缘 AI 方案
人工智能·讯鹏科技·ai视觉计数传感器·ai 视觉计数传感器·ai视觉计数系统
邵宇然26 分钟前
编译期安全编程的边界探索:当 Rust 的类型系统还不足以表达我们的意图
人工智能
loopne27 分钟前
AI网文写作实验笔记(十三):系列总结——12 篇实验、8 条核心结论,把“AI 写小说“每一步拆开验证
人工智能·经验分享·笔记·ai写作·智能写作
2601_9670972231 分钟前
白光干涉仪品牌众多怎么筛选靠谱厂家?选购要点及优可测等品牌参考
人工智能
zandy101135 分钟前
claude code用不了?国内外AI 编程工具的演进与三类路径选择
人工智能
武汉海翎光电38 分钟前
从零开始了解数据采集——工业数据采集新趋势:边缘计算与云计算的强强联合
人工智能·云计算·边缘计算
AI产品测评官42 分钟前
AI智能体在招聘场景的工程实践:屏幕语义理解与风控规避
人工智能·求职招聘
TechEdu20260644 分钟前
[人工智能]GPT(OpenAI):模型体系、智能体与企业工程实践
人工智能·ai
大力财经1 小时前
抖音生活服务推动直播合规经营,消费者人脸保护功能覆盖超10万个直播间
大数据·人工智能·生活