【AI学习】[2024北京智源大会]具身智能:面向通用机器人的具身多模态大模型系统

面向通用机器人的具身多模态大模型系统

王 鹤 | 北京大学助理教授,智源学者

边听边做一些记录

一、通用机器人的概念和发展趋势,以及实现通用机器人的基石层、大脑和小脑模型等方面的思考和探索。

主要观点:人形机器人,是未来发展的终局

人形,是能找到最大公约数,但是不等于都是人性,专业机器人有其他形态,但是,通用机器人应该是人形

直立时,手只能到这,摸不到脚,腿的重要性!

腿的作用:环境通用,另外一个作用,是辅助手,到达手到达不了的地方

今天做本体,机器人的腿还达不到人的程度,需要采用渐进式的发展方式

今天所有的人形机器人,给它一个地面的点,让它泛化的弯腰去捞这个点,这个人形机器人不摔,这在世界范围内没有实现

从本体层,需要思考,当下设计本体层,在非拥挤场景下达到人的灵活度和操作空间

通用机器人的未来还是属于腿,轮的方式还是有限制,什么时候腿可以弯曲,做各种动作不倒,是具身智能的一大挑战,希望未来五年可以发展出来

全身控制能力受腿技能不足和成本挑战,需务实考虑

二、人形机器人的发展现状和挑战,探讨了本体层和数据层的考虑因素,提出了合成数据是实现具身智能的关键。

数据:采集成本高昂,特斯拉靠人力采集自动驾驶数据,但未来需依赖机器人操作

数据:谷歌的RT系列的demo,和特斯拉的demo,都是来自人类的遥操作

把电池放到盒子里,特斯拉的采集,公开数据,有40人的团队进行遥操作,这个遥操作是一个排列组合的问题,考虑泛化,每一个技能都需要采集大量的数据,特斯拉的方案是几百万到上千万美元

谷歌是17个月,采集了13万条数据

特斯拉和谷歌,都依赖人力,这里有路径依赖

特斯拉靠人力采集,把自动驾驶作成了,这后面是100万量上亿小时的数据

但是,人形机器人,从0开始,这个数据很难突破

所以,综合考量,合成数据是从零到一转化的一个可能方式

三、一种基于合成数据的抓取技能训练方法

该方法能够实现对各种物体的稳定抓取,具有很高的自由度和泛化性。通过合成数据来回答scaling law问题,以及使用seem to real技术抓取关节类物体和操纵全身机器人的能力,并探讨了多模态大模型在开放语义抓取放置任务中的应用。

3D数据的适应性优势:

距离感知比二维数据有更多信息,可提高样本效率

对比2D数据有10000倍的采样效率

合成数据可实现泛化,提高技能稳定性

灵巧手随意抓取的demo,还没有看到,自由度有23个,但是训练难度也越大。从洗盘到二指到灵巧收,自由度越来越高,训练难度越来越大

具身智能数据可用于灵巧手抓取学习,做了试验,需要5亿以上数据进行训练,成功率达到85.8

灵巧手需要的数据太多,因为任务是无穷无尽。

所以什么时候涌现?还是路漫漫!

四、小脑之上的大脑,如何互动的问题

Google RT-2方案,VLA大模型,言出法随,实现了语言和动作一个模型输出,是大小脑一体模型,比较大一统,只做了55B的模型,但速度较慢

提出一个三层级的大模型,保证快速和泛化


Open6DOR ,提供训练集和 baseline,做到能抓也能放

CVPR的论文!进行跨类别的操作零部件的分割和识别

一个机器人系统,该系统使用了GP4V和大小模型的耦合来完成各种任务,包括抓取、放置、导航等。该系统的愿景是构建一个通用机器人系统。

描述水豚玩具的抓取和放置技能。

GP4V可以识别零部件并调用技能模型完成任务。

五、未来,还是端到端具身大模型

感知、规划、控制......再到端到端

大模型的魅力在于不需要深度图或点云,只需要视觉观察就能完成任务

最终,会有大脑大模型、小脑大模型一起把本体穿起来,形成本体技能。

最后,展示机器人的规划和操作能力,包括抓取、清理和泛化性操作。

视频链接:https://www.bilibili.com/video/BV1Zx4y147os/?spm_id_from=333.1007.tianma.2-3-6.click\&vd_source=986224b0c4e79ec28556778dc7d42405

备注:最近读了文章《用苹果Vision Pro隔空操控机器人,英伟达:「人机合一」也不难嘛》(链接:https://mp.weixin.qq.com/s/jqkSDodUec4DMsV5U3rDoA),展示的数据思路:人类在真实机器人身上收集演示数据,而英伟达在仿真中将这些数据扩展千倍及以上

相关推荐
小陈phd3 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao4 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
朝九晚五ฺ5 小时前
【Linux探索学习】第十四弹——进程优先级:深入理解操作系统中的进程优先级
linux·运维·学习
猫爪笔记7 小时前
前端:HTML (学习笔记)【1】
前端·笔记·学习·html
ZHOU_WUYI7 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1237 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
pq113_68 小时前
ftdi_sio应用学习笔记 3 - GPIO
笔记·学习·ftdi_sio
澄澈i8 小时前
设计模式学习[8]---原型模式
学习·设计模式·原型模式
老艾的AI世界8 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221518 小时前
机器学习系列----关联分析
人工智能·机器学习