Franka 机器人x Dexterity Gen引领遥操作精细任务新时代

教授 机器人工具 灵活 操作难题

在教授机器人灵活使用工具方面,目前主要有两种策略:一是人类遥控(用于模仿学习),二是模拟到现实的强化学习。然而,这两种方法均存在明显的局限性。

1、人类遥控(用于模仿学习):在实际操作中困难重重。人类在没有触摸反馈的情况下,很难在不同实施例中做出安全且灵巧的动作。

2、模拟到现实的强化学习:领域差距使模拟策略难用于现实;复杂任务需特定参数和模型架构,耗时费力且可扩展性差。

加州大学伯克利分校 BAIR 研究院与 Meta AI 携手开发出 DexGen,旨在解决教授机器人灵活使用工具的难题。DexGen 借助生成式模型优化机器人运动,可使机器人将人类给出的粗略操作指令,在仿真环境中通过强化学习自主调整,转换为精准且安全的动作。

DexGen技术解析

建立一套成熟的操作认知:

让 DexGen 在模拟里学习多样灵巧操作行为,借助远程操作等高级策略把粗略动作细化成精细灵巧动作。

扩大数据集

用强化学习代理生成大型 Anygrasp - to - Anygrasp 数据集,以此为核心构建庞大多任务灵巧操作数据集,对 DexGen 进行预训练。

实现应用:将 DexGen 用于远程操作,在各种有挑战性的设置中,借助它让人类通过增强遥控系统进行灵巧操作,且 DexGen 能在不同场景拒绝危险行为。

在这项研究中,Franka Robotics 机械臂作为主要核心硬件,为 DexGen 在真实环境中的稳定执行提供了有力支撑,具体优势如下:

高精度:姿态重复误差率控制在 ±0.1mm 以内,保障操作精准。

低延迟:实时响应控制,降低延迟,快速适应任务。

高灵活:七自由度设计,可在狭窄空间完成复杂任务。

强力控:关节配备扭矩传感器,精确感知和控制外力,保障安全。

可拓展:支持多种编程环境和接口,方便定制功能。

Franka Research 3 DexGen验证的核心载体

模拟实验:

在模拟中测试 DexGen 协助次优策略解决 Anygrasp - to - Anygrasp 任务的能力。

模拟 2 种次优策略:

π_noisy(a|s)=π_expert(a|s)+��(−α,α),模拟添加均匀噪声执行危险次优操作的专家。

π_slow(a|s)=��(0,α)π_expert(a|s),为 expert 的减速版本。

比较次优expertπ向受援助的同行DexGen∘π,记录不同策略在一定时间内严重失败(掉落物体)平均次数和目标达成次数。

模拟评估结果:

用 DexGen 来修复一些被噪声干扰的任务。这些任务的动作范围在 [-1, 1] 之间,但外界干扰经常把这些动作搞乱。在20分钟的模拟测试里,可以看机械操作能持续多久,还有它们完成了多少目标。

结果显示,DexGen 能让这些操作任务表现得更好。它能让机械抓取的运行时间延长10到100倍,甚至能让那些被严重干扰、原本失败的任务操作也成功完成任务。证明了DexGen能够提高极次优策略的鲁棒性和成功率。

现实 场景 实验设置

  1. 使用 Allegro Hand 作为机械手,连接到 Franka - panda 机械臂。
  2. 基于重定向系统,用 Manus Glove 捕捉人类手部姿势(300Hz 运行机密快速重定向方法重定向到 Allegro 手)
  3. 通过 Vive 跟踪系统获 6D 人体手腕姿势,单独控制机械臂。

Franka 机器人执行精细任务的新时代!

实验任务:

  1. 螺丝刀任务:用户拿起桌上螺丝刀拧紧螺栓。
  2. 注射器任务:用户拿起注射器将液体注入目标区域。
  3. 玩魔方任务:用户操控机械手拿起魔方并进行转动操作,尝试完成魔方复原。
  4. 拿笔写字任务:用户控制机械手拿起笔,在特定书写区域写出指定内容。

实验证明:

使用普通的遥操作系统几乎没法完成那些任务。在实际操作里,操作硬件很容易打滑,把物体给弄掉了。但用DexGen不一样,跟普通系统比起来,它能稳定,灵活的完整任务操作,帮用户搞定各种有挑战性的任务。

以上实验均使用Franka Research 3机械臂为实验硬件载体,该7自由度协作机器人可通过BFT机器人平台获取

Franka技术优势

精准灵活操作:Franka 精准拟人操作,远程操控灵活。

安全人机协作:实时力反馈与碰撞检测,人机协作更安全。

低本易维护:部署成本低,远程监控与维护简便。

Franka广泛应用场景

科研:仿生触觉模拟、人机神经机制研究。

工业:精密电子装配、柔性材料质检。

医疗:肝脏超声波扫描辅助、康复外骨骼阻抗调节。

相关推荐
ctrlworks10 分钟前
楼宇自控核心功能:实时监控设备运行,快速诊断故障,赋能设备寿命延长
人工智能·ba系统厂商·楼宇自控系统厂家·ibms系统厂家·建筑管理系统厂家·能耗监测系统厂家
BFT白芙堂1 小时前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
aneasystone本尊1 小时前
使用 MCP 让 Claude Code 集成外部工具
人工智能
静心问道1 小时前
SEW:无监督预训练在语音识别中的性能-效率权衡
人工智能·语音识别
羊小猪~~1 小时前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
xwz小王子1 小时前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
我爱一条柴ya1 小时前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作
静心问道1 小时前
FLAN-T5:规模化指令微调的语言模型
人工智能·语言模型·自然语言处理
李师兄说大模型1 小时前
KDD 2025 | 地理定位中的群体智能:一个多智能体大型视觉语言模型协同框架
人工智能·深度学习·机器学习·语言模型·自然语言处理·大模型·deepseek
静心问道1 小时前
SqueezeBERT:计算机视觉能为自然语言处理在高效神经网络方面带来哪些启示?
人工智能·计算机视觉·自然语言处理