具身智能

2024.10｜AI/大模型在机器人/自动驾驶/智能驾舱领域的最新应用和深度洞察多模态大语言模型（LLM）正逐步被应用于机器人控制和操作任务中。例如，ManipLLM是一种结合多模态输入的大语言模型，能够实现复杂的物体操作任务。这种模型通过学习视觉、语言和物理交互的结合，推动机器人在动态环境中的自主决策能力。

什么是具身智能仿真平台具身智能是指基于物理身体进行感知、决策和行动的智能系统。具身智能的本质是建立在“感知智能”和“认知智能”基础上的“行为智能"。具身智能本身由来已久，也本非一定要具备人的身体形态。例如，工厂中生产组装汽车的工业机器人、公园中自动巡游的商品售卖车、夜空表演的无人机蜂群等等，都可以归纳到具身智能的范畴。但受限于”感知“与”认知“能力，上述系统，虽然具有身形，但智能偏少。在这个人工智能大发展的时代，具身智能的概念再次被推向浪潮之巅。”大数据“时代”感知智能“达到前所未有的高度，大家最切身的感受可能是无处不在的刷脸

ReKep——李飞飞团队提出的新一代机器人操作方法：基于视觉语言模型和关键点约束由于工厂、车厂的任务需求场景非常明确，加之自今年年初以来，我司在机器人这个方向的持续大力度投入(包括南京、长沙两地机器人开发团队的先后组建)，使得近期我司七月接到了不少来自车厂/工厂的订单，比如柔性上料、物料分拣、RL仿真平台搭建等

具身智能猜想 ——机器人进化设想一个机器人进化的仿真模拟环境，可以通过 “基因突变” 产生新功能，让机器人逐步进化。以下是这个进化系统的关键要素和可能的实现步骤：

大象机器人

使用myAGV、Jetson Nano主板和3D摄像头，实现了RTAB-Map的三维建图功能！在现代机器人技术中，高精度的环境感知与建图是实现自主导航的关键。本文将展示如何使用myAGV Jetson Nano移动平台搭载Jetson Nano BO1主板，结合RTAB-Map和3D相机，实现更加立体和细致的环境建图。myAGV Jetson Nano具备SLAM雷达导航功能，Jetson Nano提供了强大的计算能力，适合处理复杂的SLAM任务。通过引入3D摄像头，我们能够将摄像头采集的深度信息融入到地图中，使其不仅具有平面数据，还包含了丰富的立体信息。在本文中，我们将详细介绍这一过程中使用的技

Open-TeleVision——通过VR沉浸式感受人形机器人视野：兼备远程控制和深度感知能力7.3日，我司七月在线(集AI大模型职教、应用开发、机器人解决方案为一体的科技公司)的「大模型机器人(具身智能)线下营」群里的一学员发了《Open-TeleVision: Teleoperation with Immersive Active Visual Feedback》这篇论文的链接

机器人前沿--PalmE：An Embodied Multimodal Language Model 具身多模态大(语言)模型首先解释这篇工作名称Palm-E，发表时间为2023.03，其中的Palm是谷歌内部在2022.04开发的大语言模型，功能类似ChatGPT，只是由于各种原因没有那样火起来，E是Embodied的首字母，翻译过来就是具身多模态大语言模型大模型，我们一般习惯将其称为具身多模态大模型。

基于3D感知的端到端具身操作论文导读输入：观测Ot： RGB点云，使用PointNet进行编码; 状态St：双臂末端7x2Dof位姿+16x2灵巧手关节位置，只进行归一化，无编码；融合方式：直接和点云特征进行concatenate组合。输出：未来d个时刻的动作（物理量与状态一样）噪声预测网络： Unet 训练方式： Diffusion DDIM

RT2-使用NLP的方式去训练机器人控制器目标研究在网络数据上训练的视觉语言模型也可以直接结合到端到端的机器人控制中，提升泛化性以及获得突出的语义推理；使得单个的端到端训练模型可以同时学习从机器人观测到动作的映射，这个过程可以受益于基于网络上的语言和视觉语言数据的预训练。

Mobile ALOHA前传之VINN, Diffusion Policy和ACT对比

伯克利、斯坦福和CMU面向具身智能端到端操作联合发布开源通用机器人Policy，可支持多种机器人执行多种任务不同于LLM或者MLLM那样用于上百亿甚至上千亿参数量的大模型，具身智能端到端大模型并不追求参数规模上的大，而是指其能吸收大量的数据，执行多种任务，并能具备一定的泛化能力，如笔者前博客里的RT1。目前该领域一个前沿工作是Octo: An Open-Source Generalist Robot Policy，该工作由美国Robot Learning顶尖高校（UC Berkeley，Stanford University，Carnegie Mellon University）联合推出，性能超过RT1，值得关

大象机器人

交互式乘法 myCobot 让学习充满乐趣！本文经作者Fumitaka Kimizuka 授权我们翻译和转载。原文链接：myCobotに「頷き」「首振り」「首傾げ」をしてもらう 🤖 - みかづきブログ・カスタム

DexCap——斯坦福李飞飞团队泡茶机器人：更好数据收集系统的原理解析、源码剖析2023年7月，我司组建大模型项目开发团队，从最开始的论文审稿，演变成目前的两大赋能方向总之，经过过去近一年的努力，在今年创业的第十年，我司从教育为主，变成了「科技为主教育为辅」，主做大模型应用、机器人(具身智能)、解决方案

大模型时代的具身智能系列专题(九)Lerrel Pinto是NYU Courant的计算机科学助理教授，也是用机器人和人工智能实验室(CILVR小组)的一员。在加州大学伯克利分校读博士后，在CMU机器人研究所读博士，在印度理工学院古瓦哈蒂读本科。研究目标是让机器人在我们生活的混乱世界中进行归纳和适应。研究方向主要集中在机器人学习和决策上，重点是大规模学习(数据和模型)，感官数据的表示学习，开发算法来模拟动作和行为，适应新场景的强化学习，以及构建开源的affordable的机器人。

具身智能狂潮背后：泡沫还是技术革命的前奏？2024年机器人浪潮继续汹涌着，机器人领域从未像今天一样火热，目前学术界、工业界在这样的热潮下议论纷纷，到底是泡沫还是爆发的前夕？实际上，判断一个事情是否是泡沫，要从技术底层去思考，有了技术底座就会诞生应用，如果技术弭平了市场需求，那么爆发是自然而然地。就如同判断VR是否是泡沫，在VR元年的时候，也是这样类似的热潮，如今退却之后，大浪淘沙，很多公司稳住了，长期来看VR尤其是MR稳中向好，无论是Vision Pro还是Meta Quest 3、PICO这样的作品，还是Half Life2:Alyx这样的娱

北京大学创新推出ManipLLM黑科技 | 大幅提升机器人操作的鲁棒性与智能性机器人操作依赖于准确预测接触点和执行器方向以确保成功操作。然而，基于学习的机器人操作，在模拟器中仅针对有限类别进行训练，往往难以实现泛化，特别是在面临大量类别时。

Soft Robotics：两栖环境下螃蟹仿生机器人的行走控制传统水陆两栖机器人依靠轮胎或履带与表面的接触及摩擦产生推进力，这种对于表面接触的依赖性限制了现有水陆两栖机器人在低重力环境下（如水中）的机动性。利用生物自身的推进机制，人为激发生物运动行为，由活体生物与微机电系统组成的生物-机械混合系统为构建微小型水陆两栖机器人提供新思路。在广泛的生物载体中，螃蟹由于具有独特的步态，除此以外，螃蟹在水中使用鳃进行气体交换，使其可以在水下长期停留而不需浮到水面上，这些特性使其成为构建仿生水陆两栖机器人的良好载体。基于此，南洋理工大学的Hirotaka Sato团队通过电刺激

【EAI 027】Learning Interactive Real-World Simulators论文标题：Learning Interactive Real-World Simulators 论文作者：Mengjiao Yang, Yilun Du, Kamyar Ghasemipour, Jonathan Tompson, Leslie Kaelbling, Dale Schuurmans, Pieter Abbeel 作者单位：UC Berkeley, Google DeepMind, MIT, University of Alberta 论文原文：https://arxiv.org/abs/2

【EAI 019】Eureka: Human-Level Reward Design via Coding LLM论文标题：Eureka: Human-Level Reward Design via Coding Large Language Models 论文作者：Yecheng Jason Ma, William Liang, Guanzhi Wang, De-An Huang, Osbert Bastani, Dinesh Jayaraman, Yuke Zhu, Linxi Fan, Anima Anandkumar 作者单位：NVIDIA; UPenn; Caltech; UT Austin 论文原文：ht

【EAI 016】VIMA: General Robot Manipulation with Multimodal Prompts论文标题：VIMA: General Robot Manipulation with Multimodal Prompts 论文作者：Yunfan Jiang, Agrim Gupta, Zichen Zhang, Guanzhi Wang, Yongqiang Dou, Yanjun Chen, Li Fei-Fei, Anima Anandkumar, Yuke Zhu, Linxi Fan 作者单位：Stanford; Macalester College, now at Allen Institu