具身智能

视觉语言导航

IJCAI-2024 | 具身导航的花样Prompts！VLN-MP：利用多模态Prompts增强视觉语言导航能力作者： Haodong Hong1,2 , Sen Wang1∗ , Zi Huang1 , Qi Wu3 and Jiajun Liu2,1

视觉语言导航

具身导航如何利用取之不尽的网络视频资源！RoomTour3D：基于几何感知的视频-指令训练调优作者：Mingfei Han, Liang Ma, Kamila Zhumakhanova, Ekaterina Radionova, Jingyi Zhang, Xiaojun Chang, Xiaodan Liang, Ivan Laptev

视觉语言导航

无限世界中的具身导航与交互！InfiniteWorld：通用视觉语言机器人交互的统一仿真框架作者：Pengzhen Ren, Min Li, Zhen Luo, Xinshuai Song, Ziwei Chen, Weijia Liufu, Yixuan Yang, Hao Zheng, Rongtao Xu, Zitong Huang, Tongsheng Ding, Luyang Xie, Kaidong Zhang, Changfei Fu, Yang Liu, Liang Lin, Feng Zheng, Xiaodan Liang

大象机器人

通过可穿戴外骨骼，以更灵活的方式操作你的机器人。今天，我们将介绍一款专为控制 Mercury X1 和 Mercury B1 机械臂而设计的创新外骨骼。这种外骨骼以人类手臂的结构为蓝本，可实现直观和精确的控制。

视觉语言导航

北航现实场景无人机VLN新基准! OpenUAV：面向真实环境的无人机视觉语言导航，平台、基准与方法作者：Xiangyu Wang, Donglin Yang, Ziqin Wang, Hohin Kwan, Jinyu Chen, Wenjun Wu1, Hongsheng Li, Yue Liao, Si Liu

DINOv2+Qwen2.5-VL-2B+LoRA实现image caption的微调本文的打算是一步步的实现Diffusion VLA的论文思路，之前用ResNet50提取图像特征，现在换成了DINOv2。

视觉语言导航

技术实践︱利用Docker快速体验Matterport3DSimulator！让视觉语言导航（VLN）任务入门再无门槛！Matterport3DSimulator 是一个专门用于视觉语言导航（Visual Language Navigation, VLN）任务研究的仿真平台，它提供了丰富的三维场景和物理交互功能。然而，由于其安装过程的复杂性以及所需数据集的庞大，这为初学者设置了较高的使用门槛。

视觉语言导航

AAAI-2024 | 大语言模型赋能导航决策！NavGPT：基于大模型显式推理的视觉语言导航作者：Gengze Zhou, Yicong Hong, Qi Wu单位：阿德莱德大学，澳大利亚国立大学

视觉语言导航

arXiv-2024 | STMR：语义拓扑度量表示引导的大模型推理无人机视觉语言导航作者：Yunpeng Gao, Zhigang Wang, Linglin Jing, Dong Wang, Xuelong Li, Bin Zhao

视觉语言导航

ACL-2024 | MapGPT：基于地图引导提示和自适应路径规划机制的视觉语言导航作者： Jiaqi Chen, Bingqian Lin, Ran Xu, Zhenhua Chai, Xiaodan Liang, Kwan-Yee K. Wong,

广州虚拟动力-动捕&虚拟主播

mHandPro 动捕手套：在具身智能、VR互动及仿真教学中的卓越表现广州虚拟动力高精度惯性动捕手套mHandPro，集成16个传感器以及第二代自主研发多层级AHRS异步融合算法，定制化设计了16位ADC ASIC，保持了在温度和时间层面上动捕数据的高稳定性，具备低噪声、高精度和偏移抵消的优点。动捕手套能够实时捕捉并传输手部的精细动作，并依靠内置感应节点、震动器和反馈装置，可实现真人在虚拟空间中自然、流畅的手部互动，为用户带来极致的沉浸式体验。可广泛应用于具身智能开发训练、VR游戏互动、虚拟仿真教学等领域。

视觉语言导航

CoRL-2024 | 具身智能体无师自通！LeLaN：从无标签视频中学习语言条件下的导航策略作者：Noriaki Hirose, Catherine Glossop, Ajay Sridhar, Dhruv Shah, Oier Mees, Sergey Levine

视觉语言导航

西工大经典力作！AerialVLN：空中无人机视觉语言导航数据集作者：Shubo Liu, Hongsheng Zhang, Yuankai Qi, Peng Wang, Yanning Zhang, Qi Wu

RT系列机器人详细介绍（BC-Z、RT-1、OMM、RT-Trajectory、Q-Transformer、RT-2、RT-X、RT-H）BC-Z通过结合大规模的交互式模仿学习系统、灵活的任务嵌入和多样化的数据，实现了在未见任务上的零样本泛化，为机器人学习领域提供了一种新的解决方案。

突破空间限制！从2D到3D：北大等开源Lift3D，助力精准具身智能操作！文章链接：https://arxiv.org/pdf/2411.18623 项目链接：https://lift3d-web.github.io/

具身智能高校实训解决方案——从AI大模型+机器人到通用具身智能一、行业背景在具身智能的发展历程中，AI 大模型的出现成为了关键的推动力量。这些大模型具有海量的参数和强大的语言理解、知识表示能力，能够为机器人的行为决策提供更丰富的信息和更智能的指导。然而，单纯的大模型在面对复杂多变的现实物理环境时仍存在局限性，因为机器人需要准确感知周围环境的三维结构、物体属性和空间关系。

TsingtaoAI具身智能高校实训方案通过华为昇腾技术认证日前，TsingtaoAI推出的“具身智能高校实训解决方案-从AI大模型+机器人到通用具身智能”基于华为技术有限公司AI框架昇思MindSpore，完成并通过昇腾相互兼容性技术认证。

大模型时代的具身智能系列专题(十二)Robert Platt是美国东北大学Helping Hands机器人实验室主任、计算机科学教授。在加入东北大学之前，Platt 曾是麻省理工学院的研究科学家和美国宇航局的机器人工程师。platt博士毕业于马萨诸塞大学阿默斯特分校计算机科学专业。Platt 的工作主要集中在机器人操控的感知、规划和控制上。他对机器人感知与规划/控制之间的交集特别感兴趣，目标是让机器人能够在现实世界感知不确定的情况下稳健地执行操控任务。这一研究领域对于执行机器人装配或维修任务，或在日常环境中简单地抓取和举起物体至关重要。Pl

2024.10｜AI/大模型在机器人/自动驾驶/智能驾舱领域的最新应用和深度洞察多模态大语言模型（LLM）正逐步被应用于机器人控制和操作任务中。例如，ManipLLM是一种结合多模态输入的大语言模型，能够实现复杂的物体操作任务。这种模型通过学习视觉、语言和物理交互的结合，推动机器人在动态环境中的自主决策能力。

什么是具身智能仿真平台具身智能是指基于物理身体进行感知、决策和行动的智能系统。具身智能的本质是建立在“感知智能”和“认知智能”基础上的“行为智能"。具身智能本身由来已久，也本非一定要具备人的身体形态。例如，工厂中生产组装汽车的工业机器人、公园中自动巡游的商品售卖车、夜空表演的无人机蜂群等等，都可以归纳到具身智能的范畴。但受限于”感知“与”认知“能力，上述系统，虽然具有身形，但智能偏少。在这个人工智能大发展的时代，具身智能的概念再次被推向浪潮之巅。”大数据“时代”感知智能“达到前所未有的高度，大家最切身的感受可能是无处不在的刷脸