论文精读(十):面向具身人工智能的物体目标导航综述:从“找东西“到启元机器人的导航基础能力

摘要:物体目标导航(ObjectNav)是具身智能体执行一切复杂任务的基础前置能力。本文以《软件学报》2025年发表的《面向具身人工智能的物体目标导航综述》为核心蓝本,系统解析了环境表示、视觉自主探索、端到端与模块化导航策略、四类发展进程以及数据集与评价指标。在此基础之上,本文进一步锚定启元机器人的生态定位,探讨了ObjectNav技术对启元机器人导航能力、Skill任务编排以及AtomGit开发者生态的技术启发。

本文关键词:物体目标导航;具身人工智能;视觉自主探索;视觉物体重排布;启元机器人

目录

  • 引
  • 文献来源
  • 一、引言------机器人"找东西"这件事到底有多难
    • [1.1 一个日常任务的背后](#1.1 一个日常任务的背后)
    • [1.2 为什么ObjectNav是具身智能的"前置任务"](#1.2 为什么ObjectNav是具身智能的"前置任务")
    • [1.3 人类基线vs机器人现状](#1.3 人类基线vs机器人现状)
    • [1.4 本文脉络](#1.4 本文脉络)
  • 二、基础地基------环境表示与视觉自主探索
    • [2.1 具身智能体的五种思维](#2.1 具身智能体的五种思维)
    • [2.2 环境表示的三种范式](#2.2 环境表示的三种范式)
    • [2.3 视觉自主探索:五种奖励机制](#2.3 视觉自主探索:五种奖励机制)
  • 三、核心技术深度拆解------ObjectNav的两大范式
    • [3.1 任务类型分类](#3.1 任务类型分类)
    • [3.2 端到端的导航策略](#3.2 端到端的导航策略)
    • [3.3 模块化的导航策略](#3.3 模块化的导航策略)
    • [3.4 四类发展进程](#3.4 四类发展进程)
    • [3.5 物体重排布:ObjectNav的后置任务](#3.5 物体重排布:ObjectNav的后置任务)
  • 四、数据集、评价指标与实验分析
    • [4.1 数据集全景](#4.1 数据集全景)
    • [4.2 评价指标](#4.2 评价指标)
    • [4.3 模仿学习预训练与强化学习调优](#4.3 模仿学习预训练与强化学习调优)
    • [4.4 不同方法的性能对比](#4.4 不同方法的性能对比)
  • 五、启元生态专属锚定与展望
    • [5.1 启元机器人的导航能力需求](#5.1 启元机器人的导航能力需求)
    • [5.2 从Skill开发看ObjectNav的工程价值](#5.2 从Skill开发看ObjectNav的工程价值)
    • [5.3 启元AtomGit社区与ObjectNav生态](#5.3 启元AtomGit社区与ObjectNav生态)
    • [5.4 从"最后一公里"看ObjectNav的未来](#5.4 从"最后一公里"看ObjectNav的未来)
  • 六、总结与展望
  • 尾

引

诸位技术同仁:

本系列将系统精读的方式,深入剖析计算机科学顶级期刊/会议论文,聚焦前沿突破的核心机理与工程实现。

通过严谨的学术剖析,解耦研究范式、技术方案及实证方法,揭示创新本质。我们重点关注理论-工程交汇点的技术跃迁,提炼可迁移的方法论锚点,助力诸位的技术实践与复杂问题攻坚,共推领域持续演进。

文献来源

DOI: 10.13328/j.cnki.jos.007250

软件学报,2025, 36(4):1715--1757.

已标明出处,如有侵权请联系笔者。

一、引言------机器人"找东西"这件事到底有多难

1.1 一个日常任务的背后

想象一下这样的场景:你对家里的机器人助手说"去客厅把茶几上的遥控器拿过来"。对人类来说,这是一个再简单不过的任务。你会走到客厅,扫一眼茶几,找到遥控器,拿起来。整个过程不到十秒。

但换成机器人呢?它首先得知道"客厅"在哪,"茶几"长什么样,"遥控器"是什么物体。然后它得在没去过的房间里探索,构建环境地图,同时搜索目标物体。找到之后,还得规划路径走过去,避开路上的障碍物。整个过程涉及视觉感知、语言理解、空间记忆、路径规划、避障等一系列能力的协同。

这就是物体目标导航(Object Goal Navigation, ObjectNav) 要解决的问题。论文把它定义为:要求具身智能体在事先未知的、复杂且语义丰富的场景中搜寻并导航至指定的物体目标(例如:找到水槽)。

1.2 为什么ObjectNav是具身智能的"前置任务"

论文在摘要中明确指出:ObjectNav是其他基于交互的具身智能研究的基础和前置任务。

这个定位非常关键。我们可以这样理解具身智能的任务层次:

  • 底层:导航与移动能力(ObjectNav)
  • 中层:物体操作与交互能力(抓取、放置、使用工具)
  • 顶层:复杂任务规划与执行("帮我整理房间"、"准备一杯咖啡")

没有底层的导航能力,中层的操作能力就无从施展------机器人连目标物体都找不到,谈何操作?论文中的一张图非常直观地展示了ObjectNav任务的输入输出:

从图中可以看到,ObjectNav任务的输入通常包括:

  • 目标类别(如"沙发")
  • 自身位姿
  • RGBD视觉观测

输出则是当前时刻的导航动作,通常包括直行、左转、右转和停止。

1.3 人类基线vs机器人现状

论文中有一组数据非常值得注意:实证研究表明,人类擅长在未知的环境中执行ObjectNav任务,在MP3D数据集上达到了88.9%的导航成功率。而目前最先进的ObjectNav策略在MP3D验证集上仅达到40%左右的成功率。

这个差距说明什么?说明ObjectNav任务远未解决。人类之所以擅长这个任务,是因为我们能够:

  • 通过记忆环境中的空间和语义模式来高效导航
  • 利用不同物体之间的从属或共现关系(比如"遥控器"通常放在"茶几"或"沙发"附近)
  • 避免重复和冗余的搜索

让机器人具备这些能力,正是ObjectNav研究的核心目标。

论文用一组对比图直观展示了端到端方法和模块化方法在执行ObjectNav时的差异:

从图中可以看到,基于RGB视觉观测的端到端方法在导航过程中碰撞了2次,导航失败;而基于语义地图预测的模块化方法碰撞了0次,导航成功。这个对比非常直观地说明了模块化方法在环境记忆和路径规划上的优势。

1.4 本文脉络

本文以《面向具身人工智能的物体目标导航综述》为核心蓝本,系统拆解ObjectNav的技术全景,包括环境表示、视觉自主探索、导航策略、发展进程、数据集与评价指标。在此基础之上,本文进一步锚定启元机器人的生态定位,探讨ObjectNav技术对启元机器人导航能力、Skill任务编排以及AtomGit开发者生态的技术启发。

论文的整体架构可以用一张图来概括:

这张图自底向上展示了任务层次关系、方法分类和应用场景。底层是环境表示和视觉自主探索前置任务;中间是物体目标导航任务本身,分为单物体/多物体、端到端/模块化;上层是视觉物体重排布后置任务;最顶层是医疗陪护机器人、智能家庭助手等应用场景。

二、基础地基------环境表示与视觉自主探索

2.1 具身智能体的五种思维

论文引用了一项研究,指出具身智能体至少需要具备五种思维:

  1. 直接依赖视觉观测进行决策的思维
  2. 利用物体间的语义关系搜寻目标物体的搜索思维
  3. 高效地捕获环境布局的探索思维
  4. 根据物体的方位运动到目标位置的导航思维
  5. 运动过程中的避障思维

这张图将现有的ObjectNav方法按强调的思维进行了分类,可以直观看到不同方法在五种思维上的侧重。

2.2 环境表示的三种范式

环境表示是ObjectNav的基础。机器人需要一种方式来"记住"它看到过什么、去过哪里。论文将现有的环境表示方法分为三大类:

(1)基于语义占用地图的环境表示

这类方法通过RGB图像语义分割、深度图像反投影,生成三维语义点云,再通过拼接、融合和维护,构建三维语义占用地图。

从图中可以看到完整流程:RGB图像和深度图像 → 语义分割 → 三维语义点云 → 沿Z轴投影 → 二维语义占用地图。

(2)基于拓扑语义地图的离散环境表示

这类方法将环境中的高层次语义和关系进行表征,相对于语义占用地图更加精简和抽象。拓扑语义地图的节点可以表示为物体的一组属性,边可以表示为节点之间的空间和语义关系。

(3)基于对比学习的连续环境表示

这类方法将成对的语义关系嵌入到一个潜在的特征空间,鼓励具身智能体以探索的方式逐渐构建一个鲁棒的、全面的环境表示。

2.3 视觉自主探索:五种奖励机制

视觉自主探索是ObjectNav的前置任务。机器人需要在没有明确任务目标的情况下,自主探索环境、收集信息、构建环境表示。

论文系统梳理了五种探索奖励机制:

奖励类型 核心思想 代表工作
新颖性奖励 鼓励探索先前未访问过的状态 Savinov等
好奇心奖励 鼓励探索难以准确预测的状态 Pathak等
覆盖范围奖励 引导短期内捕获尽可能多的信息 Chaplot等
占用预期奖励 最大化环境重建的准确性 Ramakrishnan等
内在影响奖励 鼓励对内部环境表示的改变 Raileanu等

从架构图中可以看到完整的探索流程:SLAM神经网络接收视觉观测和位姿传感器数据,建立环境表示;全局探索策略选择长期导航目标;路径规划器生成全局导航路径;局部导航策略输出具体动作。

三、核心技术深度拆解------ObjectNav的两大范式

3.1 任务类型分类

论文按任务类型将ObjectNav分为两类:

  • 单物体目标导航:要求具身智能体在一个事先未知的环境中导航至由一个特定标签指定的物体目标。
  • 多物体目标导航:要求具身智能体探索环境并按照指定的语义标签序列搜索并导航至多个不同的物体目标。

从图中可以看到,MultiON采用Actor-Critic强化学习架构,通过one-hot编码表示多个物体类别标签,同时将视觉观测和占据地图作为数据输入,经过特征拼接并输入到GRU网络中,最终输出导航动作的概率分布和状态值。

在介绍完单物体和多物体目标导航的定义之后,论文对现有方法进行了统计分析:

从这张图可以读出几个关键信息:单物体目标导航占88%,多物体仅占12%;模块化策略占55%,端到端策略占45%;基于有限数据集的方法占75%,基于增强数据集的占8%,基于元学习的占9%,视觉语言模型增强的仅占8%。这说明大部分研究仍集中在单物体、有限数据集的方向上,视觉语言模型增强的零样本导航虽然潜力巨大,但当前研究占比仍然很小。

3.2 端到端的导航策略

端到端的导航策略通常采用一个神经网络来建模导航所需的几种能力或思维。神经网络以原始图像数据为输入,直接输出导航动作。

从图中可以看到,该模型由三种注意力机制组成:考虑图像中物体目标信息的目标注意力机制、考虑具身智能体的上一个动作的动作注意力机制、考虑先前所有步骤的记忆注意力机制。

3.3 模块化的导航策略

模块化的导航策略分别采用不同的模块建模导航所需的几种能力或思维,通常包括:

  1. 视觉感知模块:对视觉观察进行编码,或通过语义分割获取环境语义信息。
  2. 语义映射模块:整合视觉特征、深度信息和语义信息构建环境表示。
  3. 动作决策模块:根据视觉观测和环境表示进行路径规划和运动决策。

在介绍模块化导航策略时,除了之前提到的ORG+TPN和HOZ,还有几个重要工作需要补充:

SSCNav是典型的基于局部语义地图场景表示的模块化ObjectNav策略。它的核心创新是引入了语义地图补全网络和语义置信度预测网络------前者用来预测视野之外的语义占用情况,弥补传感器视野的限制;后者用来预测补全区域的不确定性,指示预测结果的可信程度。

PONI是典型的基于全局语义地图环境表示的模块化ObjectNav策略。它的核心思路是将ObjectNav问题解耦为两个子问题:"去哪里寻找目标"和"如何导航到目标"。PONI提出了基于区域势函数和物体势函数的encoder-decoder架构------区域势函数指示未知区域所包含的潜在信息量,指导充分探索;物体势函数指示未探索区域中存在物体目标的可能性,指导导航至具体目标。

Min等人提出了一种自监督的ObjectNav算法,利用自主探索和对比学习技术以具身的方式训练语义分割模型和构建环境表示。这篇工作的一个重要贡献是率先进行了真实场景的机器人实验,验证了方法的可行性。

3.4 四类发展进程

论文按发展时间线将现有的ObjectNav策略分为四类:

(1)基于有限数据集的导航策略学习

早期,得益于MP3D、Gibson和AI2-THOR等逼真的室内场景数据集的发布,基于有限数据集的导航策略学习方法迅速发展起来。

(2)基于增强数据集的导航策略学习

为了缓解有限的数据集导致的模型训练过拟合问题,基于增强数据集的导航策略学习方法被提出。通过对现有数据集进行编辑和融合,或者引入新的场景,导航模型的性能和泛化能力被进一步提高。

(3)基于元学习的泛化策略学习

考虑到现实世界中物体类别和场景的多样性,ObjectNav策略被期望能够泛化到事先未见过的物体类别和环境。以基于梯度的元学习为基础,具身智能体被赋予学习如何去学习的能力。

(4)视觉语言模型增强的导航策略

随着大规模视觉语言模型的发展,强大的视觉语言对齐能力被用于增强ObjectNav的语义先验信息。大规模视觉语言模型为零样本ObjectNav的实现提供了可能。

3.5 物体重排布:ObjectNav的后置任务

视觉物体重排布任务要求具身智能体反复导航至不同的目标物体,是ObjectNav的后置任务。目前可以分为两类:

  • 受目标状态约束的物体重排布任务:具身智能体在预排布步骤中探索场景的目标状态并构建场景记忆,在重排布步骤中依靠记忆将错位物体恢复至目标位置。
  • 无目标状态约束的物体重排布任务:基于先验知识执行物体错位检测,并进行物体重排布。

四、数据集、评价指标与实验分析

4.1 数据集全景

数据集 发布时间 场景数目 物体数目 场景覆盖面积(km²) 可导航面积(km²) 支持交互 物理引擎
Matterport3D 2017 90 40 101.823 0.22 否 -
Gibson 2018 572 - 217.998 1.84 否 Pybullet
HM3D 2021 1000 - 365.421 12.50 是 -
AI2-THOR 2019 120 3578 - - 是 Unity
iGibson 1.0 2021 15 570 - - 是 Pybullet
iGibson 2.0 2021 15 1217 - - 是 Pybullet
ProcTHOR 2022 - 1633 - - 是 Unity

在介绍完视觉自主探索和ObjectNav通用数据集之后,论文还介绍了视觉物体重排布任务的专用数据集:

数据集 发布时间 场景数目 房间数目 物体类别 物体数目 重排布任务设置 物理引擎
RoomR 2021 - 120 72 3157 6000 Unity
Habitat 2.0 2021 111 - 92 - - Bullet
HouseKeep 2022 14 105 268 1799 - -

RoomR是Weihs等人基于AI2-THOR仿真环境专门为物体重排布任务设计的数据集,包含6000个不同的物体重排布任务设置,涉及120个不同场景中的72种不同类型的物体类别。Habitat 2.0包含基于ReplicACAD数据集构建的交互式3D仿真环境,支持具身智能体与刚体的动作交互。HouseKeep是用于评估家庭环境中具身智能体性能的基准任务,包含整洁和不整洁的室内场景。

4.2 评价指标

ObjectNav的核心评价指标包括:

(1)成功率(Success Rate, SR):成功的任务数量占所有任务的比例。

S R = n N SR = \frac{n}{N} SR=Nn

(2)路径长度加权成功率(SPL):在衡量成功率的同时,还衡量导航至目标的效率。

S P L = 1 N ∑ i = 1 N S i l i max ⁡ ( p i , l i ) SPL = \frac{1}{N}\sum_{i=1}^{N} S_i \frac{l_i}{\max(p_i, l_i)} SPL=N1i=1∑NSimax(pi,li)li

其中, l i l_i li为第 i i i次任务中从起始位置到目标的最短路径距离, p i p_i pi为实际走过的路径长度。

(3)距离成功的距离(DTS):任务结束时具身智能体距离成功阈值边界的距离。

(4)目标进度(Goal Progress):具身智能体每次运动后与目标类别物体缩减的距离。

(5)轨迹相似性(nDTW):衡量具身智能体的真实路径与专家路径之间的相似度。

4.3 模仿学习预训练与强化学习调优

论文详细介绍了当前主流的训练范式:模仿学习预训练 + 强化学习调优。

从图30可以看到一个关键发现:当不采用模仿学习时(专家演示数量为0),用于ObjectNav的强化学习是失败的,成功率近乎为0。随着专家演示数量的增加,强化学习后的ObjectNav成功率逐渐增加。

4.4 不同方法的性能对比

论文在多个数据集上对比了现有方法的性能:

方法 年份 发表渠道 优势 局限性
SAVN 2019 CVPR 首次提出采用元学习技术提高导航策略的泛化性能 缺少有效的长期记忆,易导致重复探索
DD-PPO 2020 ICLR 近乎完美地解决了点导航问题 缺少环境表示能力,无法有效完成物体导航任务
SemExp 2020 NeurIPS 首次提出基于语义地图环境表示的物体导航策略 动作空间大,采样效率低,易导致重复探索
SSCNav 2020 ICRA 通过想象未知区域中的场景先验信息增强决策 缺少有效的长期记忆,易陷入局部探索区域
PONI 2022 CVPR 提出基于监督学习,预测未探索区域的潜在信息增益 需要收集大量的地图训练数据,泛化性能易受环境布局影响
3D-aware 2023 CVPR 提出了基于3D语义地图的场景表示和角向引导的探索策略 3D语义地图的更新和维护效率低
PEANUT 2023 ICCV 采用监督学习,根据语义地图直接预测未知区域中物体目标的潜在位置 需要收集大量的地图训练数据
ESC 2023 ICML 通过大语言模型将常识性知识引入导航策略实现零样本学习 导航性能受限于提示符的设计和语义地图构建的准确性

五、启元生态专属锚定与展望

5.1 启元机器人的导航能力需求

启元机器人作为一款面向真实场景的具身智能体,其核心能力之一就是在未知环境中自主导航并找到目标物体。这与ObjectNav任务的定义高度吻合。

先看启元官方开发者社区的定位:

从这张截图能看到,启元的愿景是"把机器人带进每一个真实场景",并且强调"说出需求,我来为你完成"。这句话背后藏着很硬的工程技术问题:机器人要"完成"一个需求,首先得能找到目标物体。比如用户说"帮我拿一杯咖啡",机器人得先找到咖啡机,再找到杯子,然后才能执行倒咖啡的操作。这个"找"的过程,就是ObjectNav要解决的问题。

ObjectNav技术对启元机器人的核心价值:

  • 环境表示:启元机器人需要构建环境的语义地图,记住"客厅在哪"、"厨房有什么物体",才能高效地执行任务。
  • 视觉自主探索:当机器人进入一个陌生环境时,需要自主探索、收集信息,为后续任务做准备。
  • 导航策略:从当前位置导航到目标物体附近,需要高效的路径规划和避障能力。
  • 零样本泛化:基于视觉语言模型的零样本ObjectNav能力,可以让启元机器人在没有专门训练的情况下,找到任意用户指定的物体。

5.2 从Skill开发看ObjectNav的工程价值

启元的Skill开发工具链,本质上是将机器人的原子能力封装为可复用的技能模块。ObjectNav技术对Skill开发的增益体现在:

  1. 导航作为基础Skill:ObjectNav是"去某处"这个Skill的核心技术。无论是"去客厅"、"去厨房"还是"去卧室",底层都是ObjectNav能力。
  2. 搜索作为复合Skill:ObjectNav中的视觉自主探索和物体搜索,可以封装为"找东西"这个复合Skill。
  3. 重排布作为高级Skill:视觉物体重排布任务涉及"找到错位物体"、"导航到目标位置"、"放置物体"等一系列子技能。

5.3 启元AtomGit社区与ObjectNav生态

再看启元在AtomGit上的开源布局:

从这张截图能看到,启元已经明确表示"我们将技能(Skills)、SDK与工具链开源于AtomGit"。ObjectNav作为一项基础导航能力,完全可以在AtomGit上构建以下模块:

模块 内容 对应论文技术
环境表示库 语义占用地图、拓扑语义地图、连续环境表示 第1.1节
探索策略库 新颖性奖励、好奇心奖励、覆盖范围奖励 第1.2节
导航策略库 端到端导航、模块化导航 第2.2、2.3节
数据集 MP3D、Gibson、HM3D、AI2-THOR适配接口 第4.1节
评价工具 SR、SPL、DTS等指标计算 第4.2节

5.4 从"最后一公里"看ObjectNav的未来

论文在最后部分讨论了ObjectNav的"最后一公里"问题:当前的ObjectNav研究停留在"导航到目标物体附近"阶段,还没有充分涉及与目标物体的交互。

这个问题对启元机器人来说尤其重要。用户说"帮我拿一杯咖啡",机器人不仅要找到咖啡机,还要操作咖啡机、拿杯子、倒咖啡。ObjectNav只是第一步。

论文指出,在大语言模型的加持下,具身智能的倡导者们针对机器人导航和抓取任务提出了相应的具身大模型。未来,具身大模型可能在解决物体目标导航和抓取问题方面大显身手。

六、总结与展望

本文以《面向具身人工智能的物体目标导航综述》为核心蓝本,系统拆解了ObjectNav的技术全景:

  • 环境表示:语义占用地图、拓扑语义地图、连续环境表示。
  • 视觉自主探索:五种奖励机制(新颖性、好奇心、覆盖范围、占用预期、内在影响)。
  • 导航策略:端到端与模块化两大范式。
  • 发展进程:有限数据集、增强数据集、元学习、视觉语言模型四类。
  • 后置任务:视觉物体重排布。

在此基础之上,本文进一步锚定启元机器人的生态定位,探讨了:

  • ObjectNav技术对启元机器人导航能力的核心价值。
  • 从Skill开发看ObjectNav的工程价值。
  • AtomGit社区如何构建ObjectNav生态模块。

物体目标导航,不仅是机器人"找东西"的技术手段,更是具身智能从"能导航"走向"能干活"的关键基础能力。对于启元机器人来说,掌握并善用这一技术体系,将是从"能走能跑"走向"能找能做"的关键一跃。

尾

本期技术解构至此。

论文揭示的方法论范式对跨领域技术实践具有普适参考价值。下期将聚焦其他前沿成果,深入剖析其的突破路径。敬请持续关注,共同深挖工程实现脉络,淬炼创新底层逻辑,在学术与工程融合中洞见技术演进规律,推动领域范式持续进化。

相关推荐
whyutianict_vv1 小时前
AI 大模型技术架构解析:从推理链路到训练流程
人工智能·ai·架构·开发
一根会思考芦苇1 小时前
王阳明五百年前的知行合一,能解决今天的 AI 对齐难题吗?
人工智能
方方洛1 小时前
ai-agent教程-12-生产部署
人工智能·llm·agent
SDWAN_Cheap1 小时前
AI Agent的“自主攻击”时代已经来了?
人工智能·网络安全
企业解惑小助手1 小时前
企业 AI 工具泄密怎么防护整体方案设计|需求拆解与落地架构
人工智能·架构·域智盾
程序员JerrySUN1 小时前
Jetson Edge AI 实战05:Secure Boot 到底在保护什么?PKC、SBK、Fuse 与可信启动链一次讲清【视频讲解】
arm开发·人工智能·安全·计算机视觉·目标跟踪·音视频
IamZJT_1 小时前
14|把改进用起来:小范围启用、错误经验撤销与完整回放
人工智能
const_qiu1 小时前
第 2.5 章 2.5.6:前端登录、Token 无感续签与路由守卫
java·前端·人工智能·状态模式
m4Rk_1 小时前
【论文阅读】Agent 记忆机制(102):UMA——用多个未来问题端到端训练一份共享记忆
论文阅读·人工智能·学习·开源·github