室内具身智能的语义建图：进展、挑战与未来方向全景解读

论文标题 ：Semantic Mapping in Indoor Embodied AI --- A Survey on Advances, Challenges, and Future Directions

作者：Sonia Raychaudhuri, Angel X. Chang（Simon Fraser University）

智能体要在陌生室内环境中完成复杂任务，光靠低层感知与运动控制远远不够。它需要一张能"理解"环境的地图------不仅记录几何结构，还记录物体类别、可供性等高层语义。这就是语义地图（Semantic Map）。在长程任务中，构建并维护语义地图被论文作者视为智能体最关键的技能：它让智能体在任务全程都能回访地图进行高级推理。

现有综述多从导航、操作等下游任务切入，而这篇综述的独特之处在于以地图表示本身为组织主线，独立于具体任务，系统梳理语义建图方法。在基础模型快速演进、通用开放词汇地图需求增长的背景下，这一视角尤为及时。

一、核心分类框架：结构与编码两条轴线

图1 语义地图分类框架（原文 Figure 1）

图1：语义地图分类框架。左侧是真实场景与信息类型，右侧是结构（拓扑、栅格、几何、混合）与编码（显式、隐式）两条轴线

原图把语义地图按两个维度划分：结构（Structure） 与编码（Encoding）。

结构：拓扑图（Topological）、空间栅格（Spatial Grid）、稠密几何（Dense Geometric）、混合（Hybrid）
编码：显式（Explicit，如占用、物体类别）vs 隐式（Implicit，学习的神经特征）

这一分类反映了影响地图可扩展性、可解释性、泛化性、多模态融合与查询能力的核心设计选择。

表1 论文总览表（原文 Table 1）

表1：原文总览表截图（英文原表）。符号标注显式编码存了什么（占用、已探索、物体类别、访问时间等），隐式编码标注视觉特征（V）或视觉-语言特征（VL）

按结构与编码两维度对大量工作归类。表中用符号标注显式编码存储的信息类型（占用、已探索区域、物体类别、访问时间等），以及隐式编码使用视觉特征（V）还是视觉-语言特征（VL）。关键信息 ：使用大型预训练 VL 特征的工作能构建开放词汇地图；把隐式特征聚合到栅格、最终解码为显式编码的工作标记为"Implicit to Explicit"。

二、背景：从 SLAM 到语义 SLAM

具身任务 分三类：探索、导航、操作。导航又按目标指定方式细分：PointNav、ImageNav、ObjectNav、MultiON、VLN、Audio-Visual Navigation 等。任务类型决定地图需保留什么信息------ObjectNav 可能只需物体类别，VLN 需要更细粒度信息。

SLAM 与语义 SLAM ：SLAM 让机器人在定位的同时建图；语义 SLAM 在几何地图上叠加物体、房间、可供性等概念，弥合感知与任务级推理的鸿沟。论文特别指出，语义 SLAM 工作同样可按结构与编码分类------有的用稀疏表示，有的用稠密表示；有的存显式语义概念，有的存隐式神经特征。

系统设计策略：端到端学习 vs 模块化流水线。

图4 端到端 vs 模块化（原文 Figure 4）

图4：端到端 vs 模块化。上为单一网络直接从感官输入生成动作；下为视觉编码器、建图器、探索模块、规划器组成的模块化流水线

端到端模型作为单一流水线直接从感官输入生成动作；模块化流水线由多个子模块组成，各自独立训练。

模块化流水线通常含：视觉编码器、建图器、探索模块、规划器。

表2 模块化方法对比（原文 Table 2）

表2：原文表格截图（英文原表）。ANS、NTS、SemExp、ModLearn、MOPA 等在各模块上的选择，以及地图里存了什么

总结 ANS、NTS、SemExp、ModLearn、MOPA 等方法在各模块上的选择及地图存储内容。例如 SemExp 用 MaskR-CNN 编码，地图存"占用+已探索+语义标签"，探索用学习策略，规划用 Fast Marching。

两种设计各有取舍：端到端简单、直接优化任务性能，但缺可解释性、泛化差、组件难复用；模块化透明、可复用、能结合学习与经典方法，适合长程规划与语义推理，但存在误差传播与模块集成次优的风险。

三、语义地图的四个基本问题

建图流程 （图5）包含三步：定位 → 特征提取 → 地图更新 ，栅格地图还需投影步骤。投影依赖深度信息与相机参数，论文给出了针孔相机与正交投影公式（式 6、式 7）。

图5：地图构建流程（原文 Figure 5）。定位回答"智能体在地图哪里"，特征提取抽取观测中的语义信息，地图更新把信息随时间聚合

建图中还需考虑：自我中心 vs 世界中心坐标系 、已访问区域追踪 、视点选择 （具身设定下视点受限、需顺序累积观测）、在线 vs 离线建图 （离线需额外探索阶段，且静态快照可能与实际状态失配）、真实世界建图（仿真常假设无噪声、完美定位与执行，与真实世界差距大；SLAM 通过不确定性建模与回环检测能构建更一致准确的地图）。

图6 语义建图方法时间线（原文 Figure 6）

图6：语义建图方法时间线（原文 Figure 6）。颜色区分显式/隐式与闭词汇/开放词汇

展示方法随年份的演进：2001 年前的显式方法 → 2001--2015 的闭词汇隐式方法 → 2020 年后开放词汇隐式方法 兴起。近年明显趋势是：在大语言模型和视觉-语言模型推动下，语义地图正转向开放词汇表示。

四、地图结构：四种表示及其取舍

4.1 空间栅格地图

栅格地图是 (M \times N \times K) 矩阵，前两维为空间尺寸，(K) 为语义通道数。室内具身 AI 常用 MP3D、HM3D 数据集，空间总面积通常小于 (1000\mathrm{m}^2)，每格代表 (400\text{--}900\mathrm{cm}^2) 已足够。

图7 栅格建图流程（原文 Figure 7）

图7：栅格建图流程（原文 Figure 7）。图中同时对比了 Gupta et al. (2017) 不分割直接学习空间表示，与 Cartillier et al. (2021) 先编码、再地面投影、最后分割以减少噪声的做法

分割输入图像 → 地面投影得自我中心地图 → 通过定位位姿配准到世界中心地图 → 去噪 → 在线建图并伴随任务规划与控制。

建图方式有两类：学习图像特征的自我中心投影（如 CMP），但无法捕捉全局结构、会"遗忘"历史观测，不适合长程规划；维护世界中心地图，通过配准聚合新观测，聚合函数可取最新、平均、最大，或学习网络（如 LSTM）。

表3 栅格地图的聚合方式（原文 Table 3）

表3：原文表格截图（英文原表）。Efficient 用最新值；CMP 用加权平均；MapNet 用 LSTM；ANS/SemExp/SEAL 用通道级最大池化；SemanticMapNet 用 GRU；RNR-Map/Le-RNR-Map 用平均

Efficient 用"最新值"；CMP 用加权平均；MapNet 用 LSTM；ANS/SemExp/SEAL 用通道级最大池化；SemanticMapNet 用 GRU；RNR-Map/Le-RNR-Map 用平均；VoxPoser/GOAT-Bench 用最新值；Instruction-guided 用最大池化。

小结：栅格地图密集捕捉环境信息、利于空间结构推理；但需预设宽高、环境尺寸变化时难扩展，且内存消耗大。

4.2 拓扑地图

拓扑地图是图 (G=(v,e))，节点代表物体或显著地标，边代表关系（距离、空间关系等）。它把大空间抽象为"决策节点"与"连接路径"，让智能体在小空间局部规划、大空间图搜索------这借鉴了人类记忆显著地标来导航的方式。

关键设计决策是什么作为节点、什么作为边。室内导航中节点通常是物体、开口/交叉口、已访问位置或其他感兴趣区域；可导航则连边，有些方法在边上存空间关系。

构建方式有两种：预探索阶段离线构建 （如 SPTM，随机轨迹建节点与边，再修剪合并，但稀疏且不适合未知环境）与在线构建（如 NTS，含图更新、全局策略、局部策略模块，逐步更新节点与边，存相对位姿 ((r,\theta))）。

表4 拓扑地图对比（原文 Table 4）

表4：原文表格截图（英文原表）。Topo SLAM 只存位姿；NTS 存 ResNet18 特征、边存极坐标相对位姿；CMTP 存 ResNet152 特征、边存离散极坐标（8 方向、3 距离档）

汇总各工作在建图阶段 （在线/预探索）、节点值 、节点特征编码器 、边值上的差异。例如 LM-Nav 用 CLIP；RoboHop 用 CLIP+DINOv2，边类型区分图像内/图像间连通性；ASHITA 用 MobileCLIP。

一个关键问题：如何判断两个观测相似（映射到同一节点）？这需要比较 RGB 图像。

4.3 稠密几何地图

稠密几何地图把语义直接累积到场景 3D 几何上，最常用点云，也可用三角网格、面元、高斯泼溅、神经场。

表5 稠密几何地图对比（原文 Table 5）

表5：原文表格截图（英文原表）。SemanticFusion 用面元存 3D 位置、法线、类别标签；ConceptFusion 用点云存像素对齐 VL 特征；LERF、CLIP-Fields 用神经场存神经 VL 特征

区分点云（PC）、面元（SF）、高斯泼溅（GS）、神经场（NF） 等结构，以及显式/隐式编码与是否训练。例如 OpenScene 用点云存 CLIP 特征；LangSplat、SemanticGaussians、GaussianGrasper 用高斯泼溅存 CLIP/SAM 特征。

点云：早期 PointNet/PointNet++ 直接处理无序点集，KPConv 引入可学习卷积，Point Transformer 用注意力捕捉长程依赖。OpenScene 预测稠密 3D 特征并与 CLIP 文本/图像共嵌入，使场景可用文本查询物理属性与可供性。但许多方法按场景优化，代价高、不适合具身应用实时使用。具身 AI 中点云地图通常内存密集，不过也有工作用树形动态数据结构提升效率，以及用高斯泼溅在 ImageNav 上取得 SOTA。

神经场：用连续函数把空间坐标映射到颜色、占用或语义特征，通常用 MLP。训练策略有两种：蒸馏预训练 2D 骨干（如 CLIP）特征，或用可微渲染器匹配渲染语义与颜色。CLIP-Fields 通过体渲染对齐 2D CLIP 特征与 3D 点，构建开放词汇、可查询的 3D 地图，无需任务特定监督。神经 SDF 适合建图、碰撞检测与规划。

小结：稠密几何地图保真度高、与传感器数据直接对应，但面临噪声处理、大规模可扩展性、语义时序一致性、计算与内存开销等挑战。

4.4 混合地图

混合地图组合上述结构，在不同粒度捕捉信息、支持不同类型推理。

拓扑-度量混合（Topometric Map）：Thrun et al. (1998b) 先用粗拓扑图做全局对齐、再用细栅格图做局部对齐；Tomatis et al. (2001) 用拓扑图表示走廊、栅格图表示房间；BEVBert 离线构建混合地图并学习多模态表示。
栅格+稠密几何+拓扑：StructNav 中空间栅格存占用（避障与低层规划），场景图存地标及连通性（高层关系推理），3D 语义点云做稠密语义与空间匹配。
层次化场景图：Armeni et al. (2019) 用层次图表示建筑、房间、物体；OpenIn 用类似层次场景图追踪动态室内环境中的物体；Dynamic Scene Graphs 建模时空关系；Hydra 实时增量构建 3D 场景图；Fischer et al. (2024) 构建多级神经场景图表示大规模动态城市环境。

小结：不同结构各有优劣------拓扑图适合显著地标，度量图适合精确几何，稠密几何图适合更密 3D 几何。混合时需权衡：拓扑图与稠密几何图在大环境下扩展性更好，稠密几何图最耗内存、拓扑图最省。

五、地图编码：显式 vs 隐式

图8 显式编码 vs 隐式编码（原文 Figure 8）

图8：地图编码（原文 Figure 8）。显式编码的每一格有明确含义，隐式编码存的是编码器提取的特征；后者再分闭词汇与开放词汇

显式编码包括：占用（二值）、已探索（二值）、图像（RGB 像素）、物体（RGB 像素/one-hot/文本标签）、房间（one-hot/文本标签）、音频强度（0--1 单值）。隐式编码分闭词汇（任务预训练编码器提特征）与开放词汇（LVLM 或开放词汇检测器）。

5.1 显式编码

占用信息对避障有益（Elfes 1989；Chaplot et al. 2019 等）。探索任务中，已探索信息鼓励探索未知区域（ANS 同时存占用与已探索，用二元交叉熵联合训练；VLMNav 在俯视体素图中存已探索信息）。

更复杂的 ObjectNav 需要物体类别。SemExp 用 MaskRCNN 预测类别再投影到地图，占用与已探索用逐元素最大池化、语义类别用最新预测覆盖，再用去噪网络得最终地图，证明语义地图能帮助更高效找到目标类别。MOPA 证明维护物体记忆对 MultiON 长程任务至关重要。但"先分割再投影"可能产生标签飞溅 ------噪声深度导致类别标签散落在多个格子。SemanticMapNet 发现"先投影编码特征再分割"能得到更干净地图，但需额外探索阶段。GOAT 存原始图像，用 CLIP 做图文匹配、SuperGlue 做图图匹配，支持语言/图像/类别多种目标指定。MapNav 存分割物体的文本标签，帮助 VLM 更好地 grounding。

音频强度图在 Audio-Visual Navigation 中有用（按平均聚合）；交互式问答中存物体检测概率有帮助（用 GRU 聚合）。拓扑地图也有显式版本：Kwon et al. (2021) 在节点存访问时间步以编码时序关系，聚合时用最新访问时间替换。

5.2 隐式编码

闭词汇编码：特征可从零学习（如 Wani et al. 2020 用 CNN 块学图像特征建全局栅格图，端到端预测 MultiON 动作），也可用 ImageNet 预训练 ResNet 提取。CMP 用预训练 ResNet-50 编码自我中心 RGB 图像，再用可微 mapper 投影，地图编码与可微规划器联合学习；MapNet 同样用 ResNet-50，但构建世界中心全局地图，通过地面投影+配准逐步更新，端到端学习定位任务。拓扑地图节点也可存 ResNet 编码特征（NTS、Chen et al. 2021）。预训练 ResNet 优点是样本高效，缺点是受限于训练类别数。

开放词汇编码：用 CLIP 等在海量图文数据上联合训练的 LVLM，可存储"任意"物体信息并用开放词汇文本查询------例如"找儿童房里红蓝条纹的斑马玩具"，即便训练中没见过，也能借助 LVLM 先验知识推理。LLM（如 GPT-4）还能做复杂任务规划，因此开放词汇地图+LLM 规划器成为近期热点。

表6 开放词汇地图工作汇总（原文 Table 6）

表6：原文表格截图（英文原表）。CoW 用 CLIP、A 最高相似度、零样本；VLMap 用 LSeg、A*、平均；NLMap 用 CLIP+ViLD、LLM 规划、多视图融合*

列出环境、是否训练、VL 编码器、任务、规划器与聚合方式。例如 ConceptGraphs 用 CLIP+DINO、GPT-4、最高相似度；VoxPoser 用 OWL-ViT、GPT-4；CLIP-Fields 用 CLIP、SLAM、加权平均；LM-Nav 用 CLIP、改进 Dijkstra、CLIP 相似度；HOV-SG 用 CLIP、A*、加权平均；RoboHop 用 CLIP、Dijkstra、平均；Clio 用 CLIP、Dijkstra、平均。

图9 开放词汇建图流程（原文 Figure 9）

图9：开放词汇建图（原文 Figure 9）。左侧为空间地图路线（VLMap、NLMap），右侧为拓扑地图路线（ConceptGraphs）

VLMap、NLMap 构建空间地图，ConceptGraphs 构建拓扑地图。

几种典型做法：

值地图（Value Map）：CLIP 计算图像与语言描述相似度并存图。CoW 证明 2D 值地图可零样本用于语言驱动 ObjectNav，相似度超阈值即规划路径；VLFM 用 BLIP-2 的 2D 值地图做语义探索；InstructNav 用多源值地图（动作、地标、导航历史）；VoxPoser 用 3D 值地图做桌面操作。但整图相似度匹配忽略单个物体语义，缺乏空间推理能力。
像素级嵌入：VLmaps 用 LSeg 输出像素级嵌入并投影到 2D 空间图，平均聚合，推理时算像素-文本相似度。但像素级嵌入稠密冗余、平均会丢信息、且不编码物体级语义。OneMap 改用 SED 的 patch 级特征，更好捕捉空间信息。
物体级：NLMap 用 ViLD 做类无关区域提议，对每个 ROI 用 CLIP+ViLD 集成提特征，存 3D 空间图（位置+尺寸），可查询任意下游任务。ConceptGraphs 用 SAM 得候选掩码作为拓扑图节点，用 CLIP+DINO 提特征，还存点云、LLaVA/GPT-4 生成的物体描述；节点间若点云几何相近/重叠则连边并附 LLM 生成的空间关系描述；新检测相似则平均特征、并集点云、更新描述，否则加新节点。单一地图表示可同时用于物体 grounding、机器人导航与操作。

小结：开放词汇编码的优势是建一次图、可迁移到多个下游任务，可用开放词汇文本查询、高度可解释；当前局限是大型基础模型的计算成本显著。

六、评估：外在与内在

论文尖锐指出：具身 AI 与机器人文献很少关注地图本身的内在评估 ，而多评估下游任务性能（外在评估），因为地图通常只是中间步骤。但作者认为，除任务性能外，还应基于地图的准确性、完整性、一致性、鲁棒性做内在评估。

6.1 外在评估

导航用成功率（SR） 、SPL（按逆路径长度加权的成功率）、Oracle SR、导航误差（NE）；多步/多目标任务用 Progress 或 Goal-Condition Success；指令跟随用 nDTW；分类/检测用 precision、recall、F1、ROC；探索用覆盖率；操作任务用任务成功率，也有用 precision 或位姿误差的。

6.2 内在评估

准确性：与真值比较几何或语义信息。2D 占用图用 map accuracy 和 IoU；2D 语义图用像素级标注准确率、像素 F1、IoU、轮廓平均边界 F1。但缺乏跨地图类型的标准指标------IoU 不直接适用于拓扑图；开放词汇特征地图难评估，OpenScene 的做法是对固定类别做语义分割再算 accuracy/IoU，ConceptGraphs 则用 AMT 人工评估场景图准确率，OpenLex3D 提供多粒度物体标签。难点在于大规模真实环境的精确真值获取成本高或不可行，动态/杂乱环境的准确性也很少评估。
完整性：几何覆盖（已建图环境比例）+ 语义覆盖。对搜救等任务尤其关键，与"停止准则"紧密相关------达到时间预算不保证地图完整，可靠停止准则仍是开放挑战。很多非探索任务的工作即使探索是关键环节也不报告覆盖率；语义完整性因缺乏详细真值很少被量化。
一致性：几何一致性指空间结构（距离、角度、相对位置）准确反映物理布局；语义一致性指语义信息与物理位置对齐、并在视角/光照/动态变化下保持。SLAM 用 ATE 等回环指标；具身 AI 因无噪声、地图多与环境一致，很少报告几何一致性，但未来动态物体将使其关键（可用 RMSE 衡量）；语义一致性目前无人测量，可用时序准确率衡量。
鲁棒性：评估在不可预测/动态环境中的可靠性。SLAM 在噪声扰动下测 ATE/RPE；近期方法可测预训练模型预测置信度或方差（认知不确定性）。联合熵、期望地图信息、不确定性感知建图等概念可提供设计思路，但很少作为评估指标报告。

表7 评估维度与指标（原文 Table 7）

表7：原文表格截图（英文原表）。外在评估看任务成败，内在评估看地图本身的精度、完整性与鲁棒性

外在（Utility）：SR/SPL/NE/OSR（导航）、nDTW（指令跟随）、QA/Nav accuracy（EQA）、Precision/Recall/F1/ROC（语言 grounding）、RPE（定位）；内在：map accuracy/IoU/Pixel F1/Boundary F1（语义分割）、几何覆盖率（探索）、Precision/Recall/TP/ATE（回环）、噪声扰动下 ATE/RPE（视觉 SLAM）。

小结：外在指标研究充分且随任务复杂化持续演进；内在评估严重不足，两大挑战是大规模开放词汇真值难获取 与缺乏跨结构/跨编码的标准指标套件。

七、七大挑战

效率：语义越丰富、地图越重，内存与存储压力越大。栅格均匀但内存密集难扩展；稠密几何保真高但冗余存储重；拓扑轻量可扩展但缺几何细节；混合地图平衡两者但管理复杂。学习的高维表示压缩表达强，但难解释/更新、查询昂贵。
可扩展性：需应对空间范围、语义复杂度、时间演化三方面增长，同时保持效率、准确与鲁棒。大而一致的地图计算与内存需求随环境规模和丰富度快速增长；动态场景（家具重摆、物体移动）要求持续适应；回环、重定位、地图查询随地图扩大而变贵。
实时处理：自动驾驶、人机交互等需严格延迟内决策，语义丰富度与处理速度的权衡在内存受限硬件上仍是开放难题。
噪声与不确定性：传感器噪声、检测/分割/分类错误会导致语义不一致并累积成语义漂移；不确定性常未被显式建模或传播，安全应用中过度自信的错误地图条目会误导规划。
多模态融合：视觉、深度、音频、语言、语音等融合中，模态对齐与集成非平凡；语言线索可能模糊、间接、依赖上下文；音频瞬态且难空间定位与持久编码；还需支持复杂空间推理（"水果碗后面的杯子""水壶和盘子之间的花瓶"）与可供性查询（"哪里能坐""哪些物体易碎"）。多模态基础模型带来希望，但并非为建图或长期记忆集成而训练，直接应用受限。
动态地图：现有室内建图假设物体静态、仅智能体移动，室外场景不成立。需实时跟踪更新、传感器融合检测追踪，计算密集；还需理解运动轨迹、预测未来运动以避障。
混合地图集成：如何有效整合空间与拓扑表示而不牺牲任一方质量，如何智能决定何时在两种表示间切换，仍需大量研究。

八、未来方向

通用地图（General-purpose Maps）：设计单一综合表示，兼具几何与语义，消除任务特定地图，支持导航/操作/场景理解复用；需开放词汇、支持自然语言描述未见过物体，并能被评估复杂空间与语义推理查询。当前受限于类无关检测器（小、细、遮挡物体检测困难）、开放词汇检测器鲁棒性不足，以及计算与内存开销。
稠密而高效的地图：支持"从我笔记本电脑旁的桌上拿手机"这类精细空间推理，需捕捉物体空间排列的细粒度细节。拓扑太稀疏、稠密几何太密（含大量空空间）、2D 俯视栅格缺高度维（对无人机等 3D 导航关键）。需要"足够稠密但智能忽略空空间"、且可扩展、内存与计算高效表示。
动态地图：连续实时跟踪更新、传感器融合、高效存储表示、将动态数据融入决策（如绕开行人/车辆需理解轨迹并预测）。
混合地图结构：结合空间图几何精度与拓扑图语义关系能力；大范围用拓扑长程导航、局部用空间图避障与交互；用层次结构跟踪动态物体以降低实时更新计算量；难点在有效集成、智能切换、大规模实时可扩展。
设计评估指标：强调准确性、完整性、一致性、鲁棒性；建立跨地图结构与编码的标准评估指标与框架。
总结：领域正走向灵活、通用、可查询的地图，需在语义丰富度与效率、动态环境可扩展性与鲁棒性、超越任务性能的地图质量评估之间取得平衡。

九、结论

综述按地图结构 （空间栅格、拓扑图、稠密几何、混合）与语义编码（显式/隐式）两大维度系统梳理了语义建图方法。这一视角在基础模型进步、通用多模态开放词汇可查询地图需求增长的背景下恰逢其时。

关键洞察：

现有工作主要用空间图捕捉几何布局、或用拓扑图建模地标关系；混合地图在机器人领域有探索，但在具身 AI 中仍未被充分研究，是复杂空间推理任务的 promising 方向。
稠密几何地图（点云、网格、面元）对具身任务有潜力但研究不足；高内存、计算低效、室内大量空 3D 空间是显著挑战。
多数方法假设静态环境，限制了在动态场景（家具重摆、人走动）中的适用性。
领域正转向开放词汇、可查询、任务无关 的地图表示，但高内存需求与计算低效仍是开放挑战。

重要论文引用汇总（按主题分类，标题全称）

综述与背景

Song, X., Liang, X., & Huaidong, Z. Semantic mapping techniques for indoor mobile robots: Review and prospect. Measurement and Control, 2025.
Kostavelis, I., & Gasteratos, A. Semantic mapping for mobile robotics tasks: A survey. Robotics and Autonomous Systems, 2015.
Cadena, C., Carlone, L., Carrillo, H., et al. Past, present, and future of simultaneous localization and mapping: Toward the robust-perception age. IEEE Transactions on Robotics, 2017.
Thrun, S. Robotic mapping: a survey. 2003.
Ahmed, M. F., Masood, K., Fremont, V., & Fantoni, I. Active slam: A review on last decade. Sensors, 2023.

栅格地图与模块化方法

Gupta, S., Davidson, J., Levine, S., Sukthankar, R., & Malik, J. Cognitive Mapping and Planning for Visual Navigation. CVPR, 2017.
Henriques, J. F., & Vedaldi, A. MapNet: An Allocentric Spatial Memory for Mapping Environments. CVPR, 2018.
Chaplot, D. S., Gandhi, D., Gupta, S., Gupta, A., & Salakhutdinov, R. Learning to Explore using Active Neural SLAM. ICLR, 2019.
Chaplot, D. S., Gandhi, D. P., Gupta, A., & Salakhutdinov, R. Object Goal Navigation using Goal-Oriented Semantic Exploration. NeurIPS, 2020a.
Chaplot, D. S., Salakhutdinov, R., Gupta, A., & Gupta, S. Neural Topological SLAM for Visual Navigation. CVPR, 2020b.
Cartillier, V., Ren, Z., Jain, N., Lee, S., Essa, I., & Batra, D. Semantic MapNet: Building Allocentric Semantic Maps and Representations from Egocentric Views. AAAI, 2021.
Wani, S., Patel, S., Jain, U., Chang, A., & Savva, M. MultiON: Benchmarking Semantic Map Memory using Multi-Object Navigation. NeurIPS, 2020.
Raychaudhuri, S., Campari, T., Jain, U., Savva, M., & Chang, A. X. MOPA: Modular Object Navigation with PointGoal Agents. WACV, 2023.
Gervet, T., Chintala, S., Batra, D., Malik, J., & Chaplot, D. S. Navigating to objects in the real world. Science Robotics, 2023.
Khanna, M., Ramrakhya, R., Chhablani, G., et al. GOAT-Bench: A Benchmark for Multi-Modal Lifelong Navigation. CVPR, 2024.
Zhang, L., Hao, X., Xu, Q., et al. MapNav: A Novel Memory Representation via Annotated Semantic Maps for VLM-based Vision-and-Language Navigation. arXiv, 2025.

拓扑地图

Savinov, N., Dosovitskiy, A., & Koltun, V. Semi-Parametric Topological Memory for Navigation. ICLR, 2018.
Kwon, O., Park, J., & Oh, S. Visual Graph Memory with Unsupervised Representation for Visual Navigation. ICCV, 2021.
Shah, D., Osinski, B., Ichter, B., & Levine, S. LM-Nav: Robotic Navigation with Large Pre-Trained Models of Language, Vision, and Action. CoRL, 2023.
Gu, Q., Kuwajerwala, A., Morin, S., et al. ConceptGraphs: Open-Vocabulary 3D Scene Graphs for Perception and Planning. ICRA, 2024.
Garg, S., Rana, K., Hosseinzadeh, M., et al. RoboHop: Segment-based Topological Map Representation for Open-World Visual Navigation. ICRA, 2024.
Maggio, D., Chang, Y., Hughes, N., et al. Clio: Real-time Task-Driven Open-Set 3D Scene Graphs. IEEE Robotics and Automation Letters, 2024.
Chang, Y., Formosa, L., Bucher, B., Carlone, L., & Wang, J. ASHITA: Automatic Scene-grounded Hierarchical Task Analysis. CVPR, 2025.

稠密几何与神经场

McCormac, J., Handa, A., Davison, A., & Leutenegger, S. SemanticFusion: Dense 3D Semantic Mapping with Convolutional Neural Networks. ICRA, 2017.
Rosinol, A., Gupta, A., Abate, M., Shi, J., & Carlone, L. 3D Dynamic Scene Graphs: Actionable Spatial Perception with Places, Objects, and Humans. RSS, 2020a.
Rosinol, A., Violette, A., Abate, M., et al. Kimera: From SLAM to Spatial Perception with 3D Dynamic Scene Graphs. IJRR, 2021.
Jatavallabhula, K. M., Kuwajerwala, A., Gu, Q., et al. ConceptFusion: Open-set Multimodal 3D Mapping. RSS, 2023.
Peng, S., Genova, K., Jiang, C., et al. OpenScene: 3D Scene Understanding with Open Vocabularies. CVPR, 2023.
Kerr, J., Kim, C. M., Goldberg, K., Kanazawa, A., & Tancik, M. LERF: Language Embedded Radiance Fields. ICCV, 2023.
Shafiullah, N. M. M., Paxton, C., Pinto, L., Chintala, S., & Szlam, A. CLIP-Fields: Weakly Supervised Semantic Fields for Robotic Memory. ICRA, 2023.
Qin, M., Li, W., Zhou, J., Wang, H., & Pfister, H. LangSplat: 3D Language Gaussian Splatting. CVPR, 2024.
Li, M., Liu, S., Zhou, H., et al. SGS-SLAM: Semantic Gaussian Splatting for Neural Dense SLAM. ECCV, 2024a.
Zheng, Y., Chen, X., Zheng, Y., et al. GaussianGrasper: 3D Language Gaussian Splatting for Open-Vocabulary Robotic Grasping. IEEE Robotics and Automation Letters, 2024b.
Lei, X., Min, L., Wang, W., Zhou, H., & Jiang, H. GaussNav: Gaussian Splatting for Visual Navigation. IEEE TPAMI, 2025.

混合地图

Thrun, S., Gutmann, J.-S., Fox, D., Burgard, W., & Kuipers, B. Integrating Topological and Metric Maps for Mobile Robot Navigation: A Statistical Approach. AAAI, 1998b.
Tomatis, N., Nourbakhsh, I., & Siegwart, R. Combining Topological and Metric: A Natural Integration for Simultaneous Localization and Map Building. Eurobot, 2001.
An, D., Qi, Y., Li, Y., et al. BEVBert: Multimodal Map Pre-training for Language-guided Navigation. ICCV, 2023.
Chen, S., Zhou, B., Lin, J., et al. StructNav: Structured Navigation with Hybrid Maps. 2023b.
Armeni, I., He, Z.-Y., Gwak, J., et al. 3D Scene Graph: A Structure for Unified Semantics, 3D Space, and Camera. ICCV, 2019.
Hughes, N., Chang, Y., Hu, S., et al. Foundations of Spatial Perception for Robotics: Hierarchical Representations and Real-Time Systems. IJRR, 2024.
Werby, A., Huang, C., Büchner, M., Valada, A., & Burgard, W. Hierarchical Open-Vocabulary 3D Scene Graphs for Language-Grounded Robot Navigation. RSS, 2024.
Tang, Y., Wang, M., Deng, Y., et al. OpenIN: Open-Vocabulary Instance-Oriented Navigation in Dynamic Domestic Environments. arXiv, 2025.

开放词汇地图

Gadre, S. Y., Wortsman, M., Ilharco, G., Schmidt, L., & Song, S. CoWs on Pasture: Baselines and Benchmarks for Language-Driven Zero-Shot Object Navigation. CVPR, 2023.
Huang, C., Mees, O., Zeng, A., & Burgard, W. Visual Language Maps for Robot Navigation. ICRA, 2023a.
Chen, B., Xu, F., Li, X., et al. NLMap: Natural Language Map for Open-Vocabulary Object Navigation. CoRL, 2023a.
Yokoyama, N., Ha, S., Batra, D., Wang, J., & Bucher, B. VLFM: Vision-Language Frontier Maps for Zero-Shot Semantic Navigation. ICRA, 2023.
Huang, W., Wang, C., Zhang, R., Li, Y., Wu, J., & Fei-Fei, L. VoxPoser: Composable 3D Value Maps for Robotic Manipulation with Language Models. CoRL, 2023b.
Long, Y., Cai, W., Wang, H., Zhan, G., & Dong, H. InstructNav: Zero-shot System for Generic Instruction Navigation in Unexplored Environment. CoRL, 2024.
Wen, S., Zhang, Z., Sun, Y., & Wang, Z. OVL-MAP: An Online Visual Language Map Approach for Vision-and-Language Navigation in Continuous Environments. IEEE Robotics and Automation Letters, 2025.

评估

Anderson, P., Chang, A., Chaplot, D. S., et al. On Evaluation of Embodied Navigation Agents. arXiv, 2018a.
Ilharco, G., Jain, V., Ku, A., Ie, E., & Baldridge, J. General Evaluation for Instruction Conditioned Navigation using Dynamic Time Warping. NeurIPS Workshop, 2019.
Kassab, C., Morin, S., Büchner, M., et al. OpenLex3D: A New Evaluation Benchmark for Open-Vocabulary 3D Scene Representations. arXiv, 2025.
Prokhorov, D., Zhukov, D., Barinova, O., Konushin, A., & Vorontsova, A. Measuring Robustness of Visual SLAM. MVA, 2019.

本文基于论文《Semantic Mapping in Indoor Embodied AI --- A Survey on Advances, Challenges, and Future Directions》整理，图1、图4---图9 与表1---表7 均截自原文（英文原图/原表），图表编号一一对应，仅作技术解读之用；原文 Figure 2、Figure 3 未被本文引用，故未收录。