现场削黄瓜、叠衣服,曾爆火的刮胡子机器人再进化,穹彻的具身智能大脑来了!

7 月 4 日,在 2024 世界人工智能大会上,具身智能公司穹彻智能 Noematrix (展位号:H1-A715) 宣布推出穹彻具身大脑 Noematrix Brain,加速具身智能大模型落地。

结合实体机器人,穹彻在完全开放的环境中向现场观众近距离展示了 "随手一扔就能叠的衣物折叠"(无限自由度物体操作,复杂物体理解堪比人类)和 "削完就能吃的黄瓜削皮"(不规则曲面操作,精细度甚至超越人类水平)等突破性技术,以及家庭地面整理等落地应用。通过这些实时演示和真实互动,穹彻具身大脑的通用性和鲁棒性得以全方位展现。

穹彻具身大脑提供 "以力为中心" 的具身智能大模型、原子技能库 AnySkill、基础软件框架及相关开发者工具链,助力机器人轻松掌握更多技能、完成更多应用,充分发挥具身智能的价值。

穹彻智能成立于 2023 年,由通用智能机器人公司 Flexiv 非夕科技战略孵化 ,上海交通大学教授,长江学者特聘教授、2023 年 "科学探索奖" 获得者(目前具身智能领域唯一)卢策吾教授担任联合创始人。

基于多年深耕人工智能领域的经验和深厚的技术积累(发表顶会顶刊 100 多篇,多次获得国际机器人顶会最佳论文奖),卢策吾及其团队在构建具身智能大模型时,将技术重点放在了对操作物理常识和力反馈嵌入智能体行为决策的联合训练上,从而打造了 Noematrix Brain 穹彻具身大脑。

穹彻具身大脑具备全链路的具身智能技术框架。其中,穹彻自研的两个具身智能大模型:实体世界大模型和机器人行为大模型,可以看作此框架中的主要助推器,承担了推进操作物理常识和智能体行为决策的联合训练的重担。

穹彻具身智能大脑技术框架

实体世界大模型能够通过训练来学习操作物理常识表征,并做到低成本可规模化地让穹彻具身大脑理解 "世界是什么 ",本次大会上所展示的衣物折叠 正是这一强大能力的具象呈现:在 AI 的世界里,对操作对象的本质理解会随着其自由度增加而提升,但柔性物体的自由度是无穷维的,因此可以基于衣物的任意初始状态完成折叠操作这一展示,成功体现了穹彻具身大脑对复杂物体操作的理解的顶级能力。调研表明,这也是全球第一次在公开展会上开放展示初始状态混乱的衣物折叠。

基于通用柔性物体折叠技能 AnyFold,机器人可以完成柔性衣物的展开、识别与折叠等操作

而机器人行为大模型则可以做到以力和操作对象为中心坍缩训练空间,让穹彻具身大脑以极高的训练效率学会 "如何决策",且具有极佳的鲁棒性和安全性。

以两个大模型为基础,穹彻具身大脑得以具备规划、记忆、执行 这三种核心能力。在上个月的机器之心访谈中,卢教授亲自尝试了 "世界上首个刮胡子机器人" 的服务,其演示全程就生动呈现了这三种能力的交叉和融合。

当人头部移动时,嵌入了高精度力反馈模块的具身智能大模型能够瞬时感知并决策力的变化

同时,为卢教授刮胡子的机器人还被赋予了通用物体表面刮削技能(AnyShave)。基于穹彻具身大脑,穹彻提供不断扩张的机器人原子技能库 AnySkill,从而使智能体具备通用操作能力。通过提升单一技能的泛化通用性和可靠性,增强多技能组合的复杂任务处理和复杂环境适应能力,AnySkill 能够以最精简的原子能力集,支持各类场景的快速开发。

AnyShave 同样可以用于黄瓜削皮等操作中,并组合其他技能一起使用,精细程度达到人类水平

基于每个原子技能强大的泛化迁移能力,在世界人工智能大会现场,穹彻展台也展出了 AnyShave 的另一个有趣应用 ------ 给黄瓜精细削皮。无需提前建模,AnyShave 可以根据黄瓜表面状况自主判断最优刮削轨迹、用刃方向、适宜速度和力,并自适应其曲面,操作如人一般精细,甚至某些时候超过人。

如果大模型仅依靠视觉进行判定和决策,那对黄瓜这类物体的起伏表面的刮削将很难顺利完成,即使使用遥操作等方式,也无法做到与人相似的程度。

此外,穹彻具身大脑还提供生态应用开发所需的全生命周期工具链,覆盖从数字孪生、数据采集、模型训练到业务开发、机器人集群管理等多种需求。

据穹彻表示,Noematrix Brain 穹彻具身大脑聚焦在非结构化、开放场景、开放任务下的机器人智能边界的突破,与各种类型的机器人本体、甚至工业设备都能有机结合,包括但不限于工业机器人、人形机器人、服务型机器人、智能家居设备等等。

当执行体被具身智能加持,它们就有了能指引感知、记忆、执行、交互的 "大脑",用武之地十分广阔,能更易协助或替代人类完成枯燥、繁重的工作,成为人们的好帮手。

在目前阶段,穹彻将在零售运营、物流拣选、食材处理、家庭服务和科研教育领域充分探索和打磨 Noematrix Brain 的核心应用。卢策吾教授表示:"具身智能是技术发展迈向人工通用智能(AGI)路上的重要一步。我们希望在坚持不断创新的同时,做好技术应用落地,与行业领先的合作伙伴携手,为不同领域提供创新的具身智能解决方案和服务,不断积累实现形态涌现,最终做到更便捷、更通用的智能服务于人。"

相关推荐
奈斯。zs18 分钟前
yjs08——矩阵、数组的运算
人工智能·python·线性代数·矩阵·numpy
Melody205018 分钟前
tensorflow-dataset 内网下载 指定目录
人工智能·python·tensorflow
DisonTangor1 小时前
阿里通义千问开源Qwen2.5系列模型:Qwen2-VL-72B媲美GPT-4
人工智能·计算机视觉
豆浩宇1 小时前
Halcon OCR检测 免训练版
c++·人工智能·opencv·算法·计算机视觉·ocr
LLSU131 小时前
聚星文社AI软件小说推文软件
人工智能
JackieZhengChina1 小时前
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
人工智能·智能手机
ShuQiHere1 小时前
【ShuQiHere】 探索数据挖掘的世界:从概念到应用
人工智能·数据挖掘
嵌入式杂谈1 小时前
OpenCV计算机视觉:探索图片处理的多种操作
人工智能·opencv·计算机视觉
时光追逐者1 小时前
分享6个.NET开源的AI和LLM相关项目框架
人工智能·microsoft·ai·c#·.net·.netcore
东隆科技1 小时前
PicoQuant公司:探索铜铟镓硒(CIGS)太阳能电池技术,引领绿色能源革新
人工智能·能源