TRO 2025 | 伦敦国王学院罗山教授团队发布触觉操作机器人RoTipBot:机器人也能翻书!

伦敦国王学院罗山教授团队联合北京理工大学与莫纳什大学,发布了RoTipBot --- 首个基于可旋转触觉传感器实现多层薄柔物体计数与抓取的机器人平台,为主动触觉感知在复杂物体操控中的应用打开了新方向,注入全新活力。

论文由罗山教授担任通讯作者,江佳齐与张旭阳为共同第一作者。论文链接:10.1109/TRO.2025.3576951项目主页:https://sites.google.com/view/rotipbot

研究动机:

研究动机:薄柔物体因其厚度小、易弯曲的特性,给机器人抓取带来两大挑战:(1)薄层常常叠在一起,导致相机难以感知下层状态,形成信息不全的视觉输入;(

2)柔性物体变形性强,对夹持器的灵巧性与柔顺性提出更高要求。现有方法通常依赖已知物体位置,或借助昂贵的力/力矩传感器以弥补视觉感知的不确定性,显著提高了系统成本。同时,配套的抓取装置(如吸盘、软体夹持器)也普遍存在效率限制---每次抓取闭合通常仅能分离一层,难以满足高效处理需求。

为此,本文提出了RoTipBot---首个通过可旋转触觉传感器实现多层薄柔物体计数与一次性抓取的机器人系统。具体而言,我们设计了名为 RoTip 的新型视触觉传感器,具备可旋转结构,并能够感知其指尖周围的全向接触信息。RoTipBot 配备两个 RoTip 传感器,通过同步滚动操作,将多层薄柔物体卷入手指之间的中心区域,从而实现高效稳定的抓取。同时,我们提出了一种基于触觉感知的抓取策略,利用 RoTip 的实时接触信息确保双指与物体建立安全接触,并精确估算被卷入的薄柔物体数量,实现薄柔物体的操控。RoTip传感器:如下图所示,所提出的RoTip传感器包括三个主要模块:固定模块、传输模块和手指主体。手指主体通过底部的视觉相机可以实现全向感应(Omnidirectional Sensing),传输模块通过舵机驱动实现旋转控制。RoTip传感器的设计延续了团队前期的全向感知手指GelTip和可旋转触觉传感器TouchRoller,首次将全向感知和主动旋转运动进行结合。RoTipBot抓取框架:本节介绍 RoTipBot利用RoTip 实现多层薄柔物体(如纸张)计数与同步抓取。RoTipBot 基于双指夹持器设计:一侧为固定物体的被动指,另一侧为主动指,通过旋转操作将多层物体卷入两指之间,实现一次性稳定夹持。该方法避免了传统从同侧夹取方式所带来的潜在损伤风险,同时提升了抓取的稳固性与效率。尽管本文以双指夹持器为例,该策略具备良好的通用性,可拓展至多指机械手。

具体流程如下:

首先,系统利用 RGB-D 相机获取粗略的抓取初始位姿;随后,基于 RoTip 的全向触觉感知能力,设计了一种触觉引导的位姿微调策略,以确保末端执行器精确对位并实现稳定接触;最后,针对多层物体抓取过程中堆叠厚度动态变化的问题,提出一套基于触觉反馈的纸张计数算法与连续调节机制,实现柔顺高效的多层抓取。

实验与分析:本文进行了全面的实验,以评估我们提出的RoTipBot方法处理薄的柔性物体,在总体成功率方面其优于SOTA方法,同时抓取速度提高了3倍。部分实验结果及视频如下所示。

通过针对抓取位置的FEM仿真和实际测量实验,我们发现薄的柔性物体的边角是最容易被搓动的位置。

针对不同薄的柔性物体的计数实验:

今年早些时候,在伦敦国王学院举行的第五届英国机器人操作研讨会上,我们现场演示了RoTipBot。该机器人在300多名参观者面前连续翻转纸张、织物和塑料板,全程无故障,充分证明了其在现实应用场景下的可靠性。

作者介绍:罗山教授(Reader)是机器人触觉感知领域的国际领军人物,深耕视触觉融合与灵巧操作研究十余年,曾任2024年T-RO触觉机器人专刊(Tactile Robotics)首席客座编辑,现任T-RO副主编(Associate Editor)。他所领导的伦敦国王学院机器人感知实验室(Robot Perception Lab),在机器人全向视触觉传感、触觉仿真、多模态操作等方向取得多项开创性成果,持续推动机器人"看得见、摸得准、动得巧"。

招生广告:本文第一作者江佳齐,国家级青年人才项目入选者,现为北京理工大学空天科学与技术学院助理教授,副研究员。其博士在2024年毕业于伦敦国王学院工程系,师从罗山教授,硕士和本科分别于2019年和2016年毕业于北京理工大学宇航学院,师从王佳楠研究员。目前主要研究方向为Tactile Robotics和无人机自主控制,在机器人顶级会议期刊如T-RO, T-Mech, RA-L, IROS上发表多篇一作论文。现招收2026级博士生1-2名、硕士生2-3名、及博士后,学术指导细致、经费充足,欢迎有相关背景的同学与我联系。联系邮箱:jiaqi.jiang@bit.edu.cn

相关推荐
清风吹过1 小时前
因果&Transformer架构论文分享:机器人技术和计算机视觉的位姿估计
计算机视觉·机器人·transformer
视觉AI1 小时前
如何实现 5 μm 精度的视觉检测?不仅仅是相机的事
人工智能·机器人·视觉检测·相机
哈泽尔都2 小时前
运动控制教学——5分钟学会样条曲线算法!(三次样条曲线,B样条曲线)
c++·人工智能·算法·机器学习·matlab·贪心算法·机器人
半导体守望者2 小时前
TR帝尔编码器GSD文件 PROFIBUS XML PROFINET EtherCAT 文件 ADH CDH CMV等
xml·经验分享·笔记·机器人·自动化·制造
BFT白芙堂4 小时前
【买机器人,上BFT】北京大学联合项目 论文解读 | H2R:一种用于机器人视频预训练的人机数据增强技术
人工智能·机器学习·3d·机器人·franka·leaphand·灵巧手方案
JiaWen技术圈5 小时前
机器人小脑的核心技术有哪些 ?
单片机·嵌入式硬件·机器人·硬件架构
cetcht88889 小时前
从 “有人值守” 到 “少人运维”:智能巡检机器人重塑配电室管理模式
大数据·运维·人工智能·机器人
扫地的小何尚10 小时前
R²D²深度解析:NVIDIA三大神经网络突破如何变革机器人学习
神经网络·r语言·机器人·llm·gpu·nvidia
咖啡星人k10 小时前
AI 大模型驱动的开源知识库搭建系统 PandaWiki的网页挂件机器人教程
人工智能·机器人·开源
唐天下文化13 小时前
展厅迎宾机器人:豹小秘2如何打造科技第一印象
人工智能·科技·机器人