具身智能

视觉语言导航

ACL-2024 | MapGPT：基于地图引导提示和自适应路径规划机制的视觉语言导航作者： Jiaqi Chen, Bingqian Lin, Ran Xu, Zhenhua Chai, Xiaodan Liang, Kwan-Yee K. Wong,

广州虚拟动力-动捕&虚拟主播

mHandPro 动捕手套：在具身智能、VR互动及仿真教学中的卓越表现广州虚拟动力高精度惯性动捕手套mHandPro，集成16个传感器以及第二代自主研发多层级AHRS异步融合算法，定制化设计了16位ADC ASIC，保持了在温度和时间层面上动捕数据的高稳定性，具备低噪声、高精度和偏移抵消的优点。动捕手套能够实时捕捉并传输手部的精细动作，并依靠内置感应节点、震动器和反馈装置，可实现真人在虚拟空间中自然、流畅的手部互动，为用户带来极致的沉浸式体验。可广泛应用于具身智能开发训练、VR游戏互动、虚拟仿真教学等领域。

视觉语言导航

CoRL-2024 | 具身智能体无师自通！LeLaN：从无标签视频中学习语言条件下的导航策略作者：Noriaki Hirose, Catherine Glossop, Ajay Sridhar, Dhruv Shah, Oier Mees, Sergey Levine

视觉语言导航

西工大经典力作！AerialVLN：空中无人机视觉语言导航数据集作者：Shubo Liu, Hongsheng Zhang, Yuankai Qi, Peng Wang, Yanning Zhang, Qi Wu

RT系列机器人详细介绍（BC-Z、RT-1、OMM、RT-Trajectory、Q-Transformer、RT-2、RT-X、RT-H）BC-Z通过结合大规模的交互式模仿学习系统、灵活的任务嵌入和多样化的数据，实现了在未见任务上的零样本泛化，为机器人学习领域提供了一种新的解决方案。

突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！文章链接：https://arxiv.org/pdf/2411.18623 项目链接：https://lift3d-web.github.io/

具身智能高校实训解决方案——从AI大模型+机器人到通用具身智能一、行业背景在具身智能的发展历程中，AI 大模型的出现成为了关键的推动力量。这些大模型具有海量的参数和强大的语言理解、知识表示能力，能够为机器人的行为决策提供更丰富的信息和更智能的指导。然而，单纯的大模型在面对复杂多变的现实物理环境时仍存在局限性，因为机器人需要准确感知周围环境的三维结构、物体属性和空间关系。

TsingtaoAI具身智能高校实训方案通过华为昇腾技术认证日前，TsingtaoAI推出的“具身智能高校实训解决方案-从AI大模型+机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore，完成并通过昇腾相互兼容性技术认证。

大模型时代的具身智能系列专题(十二)Robert Platt是美国东北大学Helping Hands机器人实验室主任、计算机科学教授。在加入东北大学之前，Platt 曾是麻省理工学院的研究科学家和美国宇航局的机器人工程师。platt博士毕业于马萨诸塞大学阿默斯特分校计算机科学专业。Platt 的工作主要集中在机器人操控的感知、规划和控制上。他对机器人感知与规划/控制之间的交集特别感兴趣，目标是让机器人能够在现实世界感知不确定的情况下稳健地执行操控任务。这一研究领域对于执行机器人装配或维修任务，或在日常环境中简单地抓取和举起物体至关重要。Pl

2024.10｜AI/大模型在机器人/自动驾驶/智能驾舱领域的最新应用和深度洞察多模态大语言模型（LLM）正逐步被应用于机器人控制和操作任务中。例如，ManipLLM是一种结合多模态输入的大语言模型，能够实现复杂的物体操作任务。这种模型通过学习视觉、语言和物理交互的结合，推动机器人在动态环境中的自主决策能力。

什么是具身智能仿真平台具身智能是指基于物理身体进行感知、决策和行动的智能系统。具身智能的本质是建立在“感知智能”和“认知智能”基础上的“行为智能"。具身智能本身由来已久，也本非一定要具备人的身体形态。例如，工厂中生产组装汽车的工业机器人、公园中自动巡游的商品售卖车、夜空表演的无人机蜂群等等，都可以归纳到具身智能的范畴。但受限于”感知“与”认知“能力，上述系统，虽然具有身形，但智能偏少。在这个人工智能大发展的时代，具身智能的概念再次被推向浪潮之巅。”大数据“时代”感知智能“达到前所未有的高度，大家最切身的感受可能是无处不在的刷脸

ReKep——李飞飞团队提出的新一代机器人操作方法：基于视觉语言模型和关键点约束由于工厂、车厂的任务需求场景非常明确，加之自今年年初以来，我司在机器人这个方向的持续大力度投入(包括南京、长沙两地机器人开发团队的先后组建)，使得近期我司七月接到了不少来自车厂/工厂的订单，比如柔性上料、物料分拣、RL仿真平台搭建等

具身智能猜想 ——机器人进化设想一个机器人进化的仿真模拟环境，可以通过 “基因突变” 产生新功能，让机器人逐步进化。以下是这个进化系统的关键要素和可能的实现步骤：

大象机器人

使用myAGV、Jetson Nano主板和3D摄像头，实现了RTAB-Map的三维建图功能！在现代机器人技术中，高精度的环境感知与建图是实现自主导航的关键。本文将展示如何使用myAGV Jetson Nano移动平台搭载Jetson Nano BO1主板，结合RTAB-Map和3D相机，实现更加立体和细致的环境建图。myAGV Jetson Nano具备SLAM雷达导航功能，Jetson Nano提供了强大的计算能力，适合处理复杂的SLAM任务。通过引入3D摄像头，我们能够将摄像头采集的深度信息融入到地图中，使其不仅具有平面数据，还包含了丰富的立体信息。在本文中，我们将详细介绍这一过程中使用的技

Open-TeleVision——通过VR沉浸式感受人形机器人视野：兼备远程控制和深度感知能力7.3日，我司七月在线(集AI大模型职教、应用开发、机器人解决方案为一体的科技公司)的「大模型机器人(具身智能)线下营」群里的一学员发了《Open-TeleVision: Teleoperation with Immersive Active Visual Feedback》这篇论文的链接

机器人前沿--PalmE：An Embodied Multimodal Language Model 具身多模态大(语言)模型首先解释这篇工作名称Palm-E，发表时间为2023.03，其中的Palm是谷歌内部在2022.04开发的大语言模型，功能类似ChatGPT，只是由于各种原因没有那样火起来，E是Embodied的首字母，翻译过来就是具身多模态大语言模型大模型，我们一般习惯将其称为具身多模态大模型。

基于3D感知的端到端具身操作论文导读输入：观测Ot： RGB点云，使用PointNet进行编码; 状态St：双臂末端7x2Dof位姿+16x2灵巧手关节位置，只进行归一化，无编码；融合方式：直接和点云特征进行concatenate组合。输出：未来d个时刻的动作（物理量与状态一样）噪声预测网络： Unet 训练方式： Diffusion DDIM

RT2-使用NLP的方式去训练机器人控制器目标研究在网络数据上训练的视觉语言模型也可以直接结合到端到端的机器人控制中，提升泛化性以及获得突出的语义推理；使得单个的端到端训练模型可以同时学习从机器人观测到动作的映射，这个过程可以受益于基于网络上的语言和视觉语言数据的预训练。

Mobile ALOHA前传之VINN, Diffusion Policy和ACT对比

伯克利、斯坦福和CMU面向具身智能端到端操作联合发布开源通用机器人Policy，可支持多种机器人执行多种任务不同于LLM或者MLLM那样用于上百亿甚至上千亿参数量的大模型，具身智能端到端大模型并不追求参数规模上的大，而是指其能吸收大量的数据，执行多种任务，并能具备一定的泛化能力，如笔者前博客里的RT1。目前该领域一个前沿工作是Octo: An Open-Source Generalist Robot Policy，该工作由美国Robot Learning顶尖高校（UC Berkeley，Stanford University，Carnegie Mellon University）联合推出，性能超过RT1，值得关