稚晖君机器人 “葡萄缝针” 神技再现江湖,这次是人形的!骑自行车惊呆众人:又抽象又硬核

刚刚!鸽了两年之后,稚晖君罕见更新视频------

上线号称史上最复杂项目灵犀 X2,能够像人一样灵动地骑自行车。

评论区早已经是听取哇声一片。

他自己表示,悄咪咪研发了三个月,视频准备了一个月。嗯,鸽的越久,事情越大!

据介绍,之所以这次如此有人味儿,源于背后集齐了运动、交互、作业三大智能。

于是乎,四年前葡萄缝针的神技,再次在灵犀 X2 上看到了。

它能像人一样,有着一呼一吸的韵律。

它可以毫秒级交互,帮助你决策一些日常的选择困难。

睡前该喝什么饮料。

除此之外,它还拥有一些其他机器人不具备的抽象能力。

比如脑壳里装手机???

还有远程裸眼 3D 交流。。。

着实是非常抽象了。

本体是怎么设计?

整个设计过程也完全公开,与以往的项目一样的硬核。他们此次在本体设计上有很多创新思考。

首先是硬件系统,抽象出了一个个可复用的核心组件。

  • 小脑控制器 Xyber-Edge;

  • 域控制器 Xyber-DCU;

  • 智能电源管理系统 Xyber-BMS;

  • 核心关节模组;

......

通过这样模块化的组件设计,就可以像拼无人机航模一样来搭建起各种形态的人形机器人系统。

就比如拿抓完全体,这里他又挖坑了,鸽了两年不知还要再鸽几年。

还有就是在材料选择上,选择了很亲和的柔性材料。他们进行了多种尝试,包括 TPU、ETPU、EVA,甚至是美妆蛋???

另外,他们全新设计了核心关节模组,并在原型机全身 28 个自由度没有使用任何一个并联结构。

这样既能保证惯量上移,又实现了运控算法的完全解耦。

就像这样,跟人一样很 Chill 的晃腿~

更为重要的突破来自运控算法层面------全面从 Model-based 转向学习驱动的强化学习

通过深度强化学习与模仿学习相结合,让灵犀 X2 学会了像人一样的运动能力。

而且平衡能力不错,随机跑起来或者原地转圈也是轻松拿捏。

甚至它还能抓住舞蹈精髓,跟随 bgm 跳一曲科目三。

同时,更考验身体协调性和平衡能力的深蹲动作,灵犀 X2 举着小杠铃也轻松完成了。

(体重暴露了,灵犀 X2 重 33.8KG,加上身高在一米三左右,嗯,标准身材)

此外,它还学会了人类必备技能------偷懒(doge),各种工具用起来也是得心应手。

踩滑板车、平衡车那叫一个 6:

不过要想要想训练出这样一个灵活的机器人,其实并不容易。他们在过程中也遇到了各种各样神奇的体验(Bug)。

比如偶然习得了一种抽象的走路方式。。。

不想动了就直接摆烂,太像人了有没有?!

又或者闹一波情绪,经鉴定该孩子为情绪暴躁型

目前灵犀 X2 还在持续进化运动能力中,按照稚晖君的说法:

通过数据驱动的算法范式,智能体能够从每秒数万次的环境交互和动作数据中,找到突破运动瓶颈的方法。

我们相信人形机器人的运动智能问题,很快会得到彻底解决

让机器人有人味儿了

不过要让机器人真正跟人一样,除了运动智能之外,交互智能、作业智能也必不可少。

首先交互方面,要让机器人不光四肢发达,头脑也不简单,这主要得益于他们开发的一套基于 Diffusion 的生成式动作引擎

此外,还为灵犀 X2 训练了定制的多模态交互大模型------硅光动语,以至于灵犀 X2 被称为 "第一台真正具备复杂交互能力的灵动机器人"。

在此基础上,通过边缘侧大脑和端到端模型架构,以及一系列工程优化,灵犀 X2 具备了毫秒级交互能力

日常坐下来聊聊天(用了稚晖君本人的声音训练):

最有意思的是,当问灵犀 X2"刚刚提的问有多少是预先写好的",它骄傲回答道:

完全随机。

与此同时,除了语音和视觉,灵犀 X2 所使用的模型还集成了动作模态,使它被赋予了生命感

除了开头提到的呼吸韵律,它还有自己的好奇心 以及肢体语言

当然,情绪价值拉满的同时,灵犀 X2 还具备了一定的生产能力。

据稚晖君介绍,过去一年里,他们初步找到了一条通往泛化作业智能的路径,而灵犀 X2 则是集大成者。

结合已开源的数据集和框架,灵犀 X2 目前已具备简单任务的零样本泛化能力。

像前段时间 Figure 展现出来的多机协作,灵犀 X2 在某些特定任务中也能实现。

而按照规划,最终灵犀 X2 能够实现作业领域的 "机器人吉祥三保"------保安、保姆以及保洁。

One More Thing

同一天,稚晖君旗下的智元机器人和上海国有资本投资有限公司达成战略合作。

目标嘛,主要是想在上海打造全球领先的智能机器人产业集群。

(上海首座人形机器人量产工厂由智元机器人打造)

参考链接:
www.bilibili.com/video/BV1JY...

--- ---

相关推荐
山北雨夜漫步1 分钟前
机器学习 Day03 Numpy基本使用
人工智能·机器学习
AI技术控2 分钟前
计算机视觉算法实战——昆虫识别检测(主页有源码)
人工智能·算法·计算机视觉
Wis4e32 分钟前
数据挖掘导论——第二章:数据
人工智能·数据挖掘
蜡笔小新星35 分钟前
OpenCV中文路径图片读写终极指南(Python实现)
开发语言·人工智能·python·opencv·计算机视觉
六月的翅膀37 分钟前
C++/OpenCV:Mat初始化赋值误区
人工智能·opencv·计算机视觉
好评笔记1 小时前
AIGC视频生成模型:慕尼黑大学、NVIDIA等的Video LDMs模型
人工智能·深度学习·机器学习·计算机视觉·aigc·transformer·面试八股
Francek Chen1 小时前
【现代深度学习技术】卷积神经网络06:卷积神经网络(LeNet)
人工智能·pytorch·深度学习·神经网络·cnn
大势智慧1 小时前
使用模方修模,模型的UV能修改,只出一张图吗?
人工智能·uv·三维建模·实景三维
go54631584651 小时前
复现无人机的项目,项目名称为Evidential Detection and Tracking Collaboration
人工智能
晴空对晚照1 小时前
[动手学习深度学习]13.丢弃法 Dropout
人工智能·深度学习·学习