灵巧操作的“强力之躯”:Franka Research 3 在 GR-Dexter 通用机器人系统中的深度应用

在具身智能(Embodied AI)的浪潮中,如何让机器人像人一样灵活地处理复杂、多变的日常任务,是学术界与工业界的共同目标。字节跳动Seed团队近日发布的GR-Dexter技术报告,展示了一个集成了先进硬件、直观遥操作和大规模视觉-语言-动作(VLA)模型的通用操作框架。而在这一庞大系统中,Franka Research 3 (FR3) 机械臂不仅是整个系统的物理支柱,更是实现高精度、高动态响应灵巧操作的核心载体。

硬件协同:FR3与21自由度灵巧手的"合体操作

GR-Dexter系统采用了一套极具竞争力的双臂灵巧操作平台。其核心架构由两台 Franka Research 3 (FR3) 机械臂组成,每台机械臂末端集成了一只ByteDexter V2灵巧手。

FR3 的角色:宏观定位与动力支撑

FR3作为经典的7自由度协作机器人,以其高灵敏度的力反馈和开放的控制接口闻名。在 GR-Dexter 中,两台 FR3 构成了系统的"大臂",负责在三维空间内进行大范围的位姿调整。

  • 空间触达:FR3的7自由度设计确保了末端灵巧手能够以最优的角度进入受限空间(如抽屉内部、密集的桌面)。

  • 力控优势:利用FR3内置的力传感器,系统能够实现精准的重力补偿和顺从控制,这对于保护脆弱的灵巧手硬件至关重要。

图1:展示GR-Dexter 的整体硬件设置。

56 自由度的复杂系统

单侧系统由"7 自由度FR3+21自由度灵巧手"组成,双侧总计拥有56个主动自由度。这种配置极大地扩张了机器人的动作空间(Action Space),使其不仅能完成简单的"抓取-放置",更能完成如"捏起化妆刷"、"旋转盖子"等需要极高协调性的任务。

PART. 02

遥操作:人类智慧向FR3的实时映射

为了训练复杂的VLA 模型,高质量的专家数据必不可少。GR-Dexter 开发了一套基于 VR 设备的直观遥操作界面,将 FR3 的潜力发挥到了极致。

**实时动作重定位(**Retargeting)

操作员穿戴Meta Quest VR 头显和 Manus 触觉手套。系统需要将人类的动作实时转化为 FR3 关节指令。

  • **位姿对齐:**系统将操作员的腕部位置映射为FR3 的末端执行器位姿。

  • **避障与优化:**为了防止FR3 在剧烈运动中发生自碰撞或超越运动限制,研究团队采用顺序二次规划(SQP)算法,在毫秒级时间内求解最优关节路径。

图2:遥操作系统的示意图。

PART. 03

数据驱动:FR3的多模态学习进化

FR3的表现并非仅仅依靠预设程序,而是通过"数据金字塔"进行驱动。

  • FR3真实轨迹数据:团队利用遥操作采集了约20小时、包含各种复杂日常场景(如清理化妆台、吸尘)的高质量数据。

  • 跨具身数据迁移(Cross-Embodiment):这是报告的一大亮点。通过算法将其他机器人平台(如ALOHA或2自由度夹持器)的数据"重定位"到FR3平台上。

  • 互联网级视觉语言数据:通过让模型学习人类视频,FR3获取了对物理世界(如"什么是杯子"、"如何推开门")的常识性理解。

模型架构:驱动FR3的4B参数"大脑"

GR-Dexter采用了一个拥有40亿参数的VLA模型。该模型将四台摄像头(其中三台俯瞰FR3工作区,一台固定在FR3基座上方)捕获的视觉信息与语言指令相结合,实时输出FR3的关节动作。

动作空间的精细控制

模型输出的动作向量包含88维,其中:

  • 14维用于控制两台FR3的关节角度。

  • 12维用于控制FR3的末端位姿增量。

  • 其余维数控制灵巧手的每一个手指关节。

这种深度集成的控制方式,使得FR3能够与灵巧手形成"手眼协同",在感知到物体滑移时,FR3能够迅速做出位姿微调以稳固抓取。

图3:模型架构图。左侧输入多视角图像和指令,中间经过Transformer结构,右侧输出FR3关节和手部动作的Action Chunk。

PART. 04

实战考核:FR3在复杂任务中的卓越表现

在真实世界测试中,基于FR3的GR-Dexter系统展现了惊人的泛化能力。

长程任务:清理化妆台

在这一任务中,FR3需要在凌乱的桌面中识别出化妆刷、调色盘,并逐一将其放入指定的收纳盒。实验结果显示,即使在面对未见过的(OOD)物体布局时,FR3 依然能保持近90%的成功率。

复杂工具使用:吸尘与协作

  • **单臂任务:**FR3驱动灵巧手抓握吸尘器,并精准地用拇指按下开关,随后在桌面进行往复式清扫。

  • **双臂协作:**一台FR3稳稳托住托盘,另一台 FR3使用夹子将面包精准地放置到托盘中心。这种高动态的力学交互充分证明了FR3在负载平衡与同步控制上的优异性能。

图4:一系列任务演示拼图。包括FR3抓取吸尘器、FR3整理化妆品、以及双臂协作分发面包的实拍图。

结语

GR-Dexter框架证明了,依托于Franka Research 3机械臂这一成熟的科研平台,结合高自由度的自主研发灵巧手和多源数据共同训练的VLA模型,机器人可以实现从简单的夹持向人类级灵巧操作的跨越 。

FR3机械臂在这一过程中不仅提供了基础的运动能力,更通过其高精度的控制接口和力反馈特性,成为了连接AI算法与物理世界的高效纽带。

项目链接:https://byte-dexter.github.io/gr-dexter/

原论文:https://arxiv.org/abs/2512.24210

相关推荐
熬夜磕代码丶5 小时前
2026 VLA训练数据指南:如何用 Web Scraping 和 Bright Data 扩大机器人训练数据
机器人·具身智能·亮数据·网络数据
明德扬7 小时前
机器人为什么需要“感知—控制—计算”一体化?FPGA 多传感器底板设计要点
fpga开发·机器人·fpga
敢敢のwings7 小时前
世界模型与FlashWorld:从“在梦中学习“到秒级3D场景生成
android·学习·3d
chunmiao30328 小时前
Wan3.0正式上线:30秒视频生成,文档PPT也能变视频
机器人
CallFay云起未来9 小时前
2026电商客服机器人系统多少钱?从成本结构到AI客服选型的完整指南
大数据·人工智能·机器人
OAK中国_官方11 小时前
在 OAK 上进行箱体尺寸测量:无需专用测量系统
人工智能·机器人·oak深度相机·箱体测量
探物 AI11 小时前
机器人清理墙角蜘蛛网,背后需要哪些算法?——从视觉分割到贴墙力控
算法·机器人
恒锐丰小瑞11 小时前
率能SS8844T 40V/2.5A/四通道1/2H桥驱动芯片,IN/EN独立控制接口与低导通电阻(350mΩ),用于纺织机械/工业自动化/机器人
单片机·嵌入式硬件·机器人·自动化
星云API|微信接口开发11 小时前
企业微信二次开发:外部群机器人文本消息发送实践
机器人·企业微信
m0_5474866612 小时前
《机器人工程专业导论》全套PPT课件2026
机器人