面向通用机器人的具身多模态大模型系统
王 鹤 | 北京大学助理教授,智源学者
边听边做一些记录
一、通用机器人的概念和发展趋势,以及实现通用机器人的基石层、大脑和小脑模型等方面的思考和探索。
主要观点:人形机器人,是未来发展的终局
人形,是能找到最大公约数,但是不等于都是人性,专业机器人有其他形态,但是,通用机器人应该是人形
直立时,手只能到这,摸不到脚,腿的重要性!
腿的作用:环境通用,另外一个作用,是辅助手,到达手到达不了的地方
今天做本体,机器人的腿还达不到人的程度,需要采用渐进式的发展方式
今天所有的人形机器人,给它一个地面的点,让它泛化的弯腰去捞这个点,这个人形机器人不摔,这在世界范围内没有实现
从本体层,需要思考,当下设计本体层,在非拥挤场景下达到人的灵活度和操作空间
通用机器人的未来还是属于腿,轮的方式还是有限制,什么时候腿可以弯曲,做各种动作不倒,是具身智能的一大挑战,希望未来五年可以发展出来
全身控制能力受腿技能不足和成本挑战,需务实考虑
二、人形机器人的发展现状和挑战,探讨了本体层和数据层的考虑因素,提出了合成数据是实现具身智能的关键。
数据:采集成本高昂,特斯拉靠人力采集自动驾驶数据,但未来需依赖机器人操作
数据:谷歌的RT系列的demo,和特斯拉的demo,都是来自人类的遥操作
把电池放到盒子里,特斯拉的采集,公开数据,有40人的团队进行遥操作,这个遥操作是一个排列组合的问题,考虑泛化,每一个技能都需要采集大量的数据,特斯拉的方案是几百万到上千万美元
谷歌是17个月,采集了13万条数据
特斯拉和谷歌,都依赖人力,这里有路径依赖
特斯拉靠人力采集,把自动驾驶作成了,这后面是100万量上亿小时的数据
但是,人形机器人,从0开始,这个数据很难突破
所以,综合考量,合成数据是从零到一转化的一个可能方式
三、一种基于合成数据的抓取技能训练方法
该方法能够实现对各种物体的稳定抓取,具有很高的自由度和泛化性。通过合成数据来回答scaling law问题,以及使用seem to real技术抓取关节类物体和操纵全身机器人的能力,并探讨了多模态大模型在开放语义抓取放置任务中的应用。
3D数据的适应性优势:
距离感知比二维数据有更多信息,可提高样本效率
对比2D数据有10000倍的采样效率
合成数据可实现泛化,提高技能稳定性
灵巧手随意抓取的demo,还没有看到,自由度有23个,但是训练难度也越大。从洗盘到二指到灵巧收,自由度越来越高,训练难度越来越大
具身智能数据可用于灵巧手抓取学习,做了试验,需要5亿以上数据进行训练,成功率达到85.8
灵巧手需要的数据太多,因为任务是无穷无尽。
所以什么时候涌现?还是路漫漫!
四、小脑之上的大脑,如何互动的问题
Google RT-2方案,VLA大模型,言出法随,实现了语言和动作一个模型输出,是大小脑一体模型,比较大一统,只做了55B的模型,但速度较慢
提出一个三层级的大模型,保证快速和泛化
Open6DOR ,提供训练集和 baseline,做到能抓也能放
CVPR的论文!进行跨类别的操作零部件的分割和识别
一个机器人系统,该系统使用了GP4V和大小模型的耦合来完成各种任务,包括抓取、放置、导航等。该系统的愿景是构建一个通用机器人系统。
描述水豚玩具的抓取和放置技能。
GP4V可以识别零部件并调用技能模型完成任务。
五、未来,还是端到端具身大模型
感知、规划、控制......再到端到端
大模型的魅力在于不需要深度图或点云,只需要视觉观察就能完成任务
最终,会有大脑大模型、小脑大模型一起把本体穿起来,形成本体技能。
最后,展示机器人的规划和操作能力,包括抓取、清理和泛化性操作。
备注:最近读了文章《用苹果Vision Pro隔空操控机器人,英伟达:「人机合一」也不难嘛》(链接:https://mp.weixin.qq.com/s/jqkSDodUec4DMsV5U3rDoA),展示的数据思路:人类在真实机器人身上收集演示数据,而英伟达在仿真中将这些数据扩展千倍及以上