现场削黄瓜、叠衣服,曾爆火的刮胡子机器人再进化,穹彻的具身智能大脑来了!

7 月 4 日,在 2024 世界人工智能大会上,具身智能公司穹彻智能 Noematrix (展位号:H1-A715) 宣布推出穹彻具身大脑 Noematrix Brain,加速具身智能大模型落地。

结合实体机器人,穹彻在完全开放的环境中向现场观众近距离展示了 "随手一扔就能叠的衣物折叠"(无限自由度物体操作,复杂物体理解堪比人类)和 "削完就能吃的黄瓜削皮"(不规则曲面操作,精细度甚至超越人类水平)等突破性技术,以及家庭地面整理等落地应用。通过这些实时演示和真实互动,穹彻具身大脑的通用性和鲁棒性得以全方位展现。

穹彻具身大脑提供 "以力为中心" 的具身智能大模型、原子技能库 AnySkill、基础软件框架及相关开发者工具链,助力机器人轻松掌握更多技能、完成更多应用,充分发挥具身智能的价值。

穹彻智能成立于 2023 年,由通用智能机器人公司 Flexiv 非夕科技战略孵化 ,上海交通大学教授,长江学者特聘教授、2023 年 "科学探索奖" 获得者(目前具身智能领域唯一)卢策吾教授担任联合创始人。

基于多年深耕人工智能领域的经验和深厚的技术积累(发表顶会顶刊 100 多篇,多次获得国际机器人顶会最佳论文奖),卢策吾及其团队在构建具身智能大模型时,将技术重点放在了对操作物理常识和力反馈嵌入智能体行为决策的联合训练上,从而打造了 Noematrix Brain 穹彻具身大脑。

穹彻具身大脑具备全链路的具身智能技术框架。其中,穹彻自研的两个具身智能大模型:实体世界大模型和机器人行为大模型,可以看作此框架中的主要助推器,承担了推进操作物理常识和智能体行为决策的联合训练的重担。

穹彻具身智能大脑技术框架

实体世界大模型能够通过训练来学习操作物理常识表征,并做到低成本可规模化地让穹彻具身大脑理解 "世界是什么 ",本次大会上所展示的衣物折叠 正是这一强大能力的具象呈现:在 AI 的世界里,对操作对象的本质理解会随着其自由度增加而提升,但柔性物体的自由度是无穷维的,因此可以基于衣物的任意初始状态完成折叠操作这一展示,成功体现了穹彻具身大脑对复杂物体操作的理解的顶级能力。调研表明,这也是全球第一次在公开展会上开放展示初始状态混乱的衣物折叠。

基于通用柔性物体折叠技能 AnyFold,机器人可以完成柔性衣物的展开、识别与折叠等操作

而机器人行为大模型则可以做到以力和操作对象为中心坍缩训练空间,让穹彻具身大脑以极高的训练效率学会 "如何决策",且具有极佳的鲁棒性和安全性。

以两个大模型为基础,穹彻具身大脑得以具备规划、记忆、执行 这三种核心能力。在上个月的机器之心访谈中,卢教授亲自尝试了 "世界上首个刮胡子机器人" 的服务,其演示全程就生动呈现了这三种能力的交叉和融合。

当人头部移动时,嵌入了高精度力反馈模块的具身智能大模型能够瞬时感知并决策力的变化

同时,为卢教授刮胡子的机器人还被赋予了通用物体表面刮削技能(AnyShave)。基于穹彻具身大脑,穹彻提供不断扩张的机器人原子技能库 AnySkill,从而使智能体具备通用操作能力。通过提升单一技能的泛化通用性和可靠性,增强多技能组合的复杂任务处理和复杂环境适应能力,AnySkill 能够以最精简的原子能力集,支持各类场景的快速开发。

AnyShave 同样可以用于黄瓜削皮等操作中,并组合其他技能一起使用,精细程度达到人类水平

基于每个原子技能强大的泛化迁移能力,在世界人工智能大会现场,穹彻展台也展出了 AnyShave 的另一个有趣应用 ------ 给黄瓜精细削皮。无需提前建模,AnyShave 可以根据黄瓜表面状况自主判断最优刮削轨迹、用刃方向、适宜速度和力,并自适应其曲面,操作如人一般精细,甚至某些时候超过人。

如果大模型仅依靠视觉进行判定和决策,那对黄瓜这类物体的起伏表面的刮削将很难顺利完成,即使使用遥操作等方式,也无法做到与人相似的程度。

此外,穹彻具身大脑还提供生态应用开发所需的全生命周期工具链,覆盖从数字孪生、数据采集、模型训练到业务开发、机器人集群管理等多种需求。

据穹彻表示,Noematrix Brain 穹彻具身大脑聚焦在非结构化、开放场景、开放任务下的机器人智能边界的突破,与各种类型的机器人本体、甚至工业设备都能有机结合,包括但不限于工业机器人、人形机器人、服务型机器人、智能家居设备等等。

当执行体被具身智能加持,它们就有了能指引感知、记忆、执行、交互的 "大脑",用武之地十分广阔,能更易协助或替代人类完成枯燥、繁重的工作,成为人们的好帮手。

在目前阶段,穹彻将在零售运营、物流拣选、食材处理、家庭服务和科研教育领域充分探索和打磨 Noematrix Brain 的核心应用。卢策吾教授表示:"具身智能是技术发展迈向人工通用智能(AGI)路上的重要一步。我们希望在坚持不断创新的同时,做好技术应用落地,与行业领先的合作伙伴携手,为不同领域提供创新的具身智能解决方案和服务,不断积累实现形态涌现,最终做到更便捷、更通用的智能服务于人。"

相关推荐
冷眼看人间恩怨4 分钟前
【话题讨论】AI大模型重塑软件开发:定义、应用、优势与挑战
人工智能·ai编程·软件开发
2401_883041085 分钟前
新锐品牌电商代运营公司都有哪些?
大数据·人工智能
AI极客菌1 小时前
Controlnet作者新作IC-light V2:基于FLUX训练,支持处理风格化图像,细节远高于SD1.5。
人工智能·计算机视觉·ai作画·stable diffusion·aigc·flux·人工智能作画
阿_旭1 小时前
一文读懂| 自注意力与交叉注意力机制在计算机视觉中作用与基本原理
人工智能·深度学习·计算机视觉·cross-attention·self-attention
王哈哈^_^1 小时前
【数据集】【YOLO】【目标检测】交通事故识别数据集 8939 张,YOLO道路事故目标检测实战训练教程!
前端·人工智能·深度学习·yolo·目标检测·计算机视觉·pyqt
Power20246662 小时前
NLP论文速读|LongReward:基于AI反馈来提升长上下文大语言模型
人工智能·深度学习·机器学习·自然语言处理·nlp
数据猎手小k2 小时前
AIDOVECL数据集:包含超过15000张AI生成的车辆图像数据集,目的解决旨在解决眼水平分类和定位问题。
人工智能·分类·数据挖掘
好奇龙猫2 小时前
【学习AI-相关路程-mnist手写数字分类-win-硬件:windows-自我学习AI-实验步骤-全连接神经网络(BPnetwork)-操作流程(3) 】
人工智能·算法
沉下心来学鲁班2 小时前
复现LLM:带你从零认识语言模型
人工智能·语言模型
数据猎手小k2 小时前
AndroidLab:一个系统化的Android代理框架,包含操作环境和可复现的基准测试,支持大型语言模型和多模态模型。
android·人工智能·机器学习·语言模型