摘要：视觉重定位是机器人自主导航的基础能力。本文以《软件学报》2024年发表的《基于先验地图的视觉重定位方法综述》为核心蓝本，系统解析了五类先验地图、五类重定位方法以及环境变化下的鲁棒性挑战。在此基础之上，本文进一步锚定启元机器人（Agibot）的生态定位，从家庭/商业场景视觉重定位的角度，探讨了该技术对启元机器人导航基础能力、Skill任务编排以及AtomGit开发者生态的技术启发。
本文关键词：视觉重定位；先验地图；位姿估计；启元机器人；自主导航
目录
- 引
- 文献来源
- 一、引言------机器人"我在哪"这件事，比你想的难
-
- [1.1 一个基础但关键的问题](#1.1 一个基础但关键的问题)
- [1.2 为什么视觉重定位是导航的基础](#1.2 为什么视觉重定位是导航的基础)
- [1.3 本文脉络](#1.3 本文脉络)
- 二、基础地基------五类先验地图
-
- [2.1 点云表示地图](#2.1 点云表示地图)
- [2.2 图像数据库地图](#2.2 图像数据库地图)
- [2.3 稠密边界表示地图](#2.3 稠密边界表示地图)
- [2.4 语义地图](#2.4 语义地图)
- [2.5 高分辨率地图](#2.5 高分辨率地图)
- 三、核心技术深度拆解------五类重定位方法
-
- [3.1 图像数据库中的视觉重定位](#3.1 图像数据库中的视觉重定位)
- [3.2 点云地图中的视觉重定位](#3.2 点云地图中的视觉重定位)
- [3.3 稠密边界表示地图中的视觉重定位](#3.3 稠密边界表示地图中的视觉重定位)
- [3.4 高分辨率地图中的视觉重定位](#3.4 高分辨率地图中的视觉重定位)
- [3.5 语义地图中的视觉重定位](#3.5 语义地图中的视觉重定位)
- 四、环境变化下的鲁棒性挑战
-
- [4.1 视觉重定位的常用数据集](#4.1 视觉重定位的常用数据集)
- [4.2 六大挑战](#4.2 六大挑战)
- 五、启元生态专属锚定与展望
-
- [5.1 启元机器人的视觉重定位需求](#5.1 启元机器人的视觉重定位需求)
- [5.2 从Skill开发看视觉重定位的工程价值](#5.2 从Skill开发看视觉重定位的工程价值)
- [5.3 启元AtomGit社区与视觉重定位生态](#5.3 启元AtomGit社区与视觉重定位生态)
- [5.4 从"知道自己在哪"看启元导航能力](#5.4 从"知道自己在哪"看启元导航能力)
- 六、总结与展望
- 尾
引
诸位技术同仁：
本系列将系统精读的方式，深入剖析计算机科学顶级期刊/会议论文，聚焦前沿突破的核心机理与工程实现。
通过严谨的学术剖析，解耦研究范式、技术方案及实证方法，揭示创新本质。我们重点关注理论-工程交汇点的技术跃迁，提炼可迁移的方法论锚点，助力诸位的技术实践与复杂问题攻坚，共推领域持续演进。
文献来源
DOI: 10.13328/j.cnki.jos.006946
软件学报,2024, 35(2):975--1009.
已标明出处，如有侵权请联系笔者。
一、引言------机器人"我在哪"这件事，比你想的难
1.1 一个基础但关键的问题
想象一下这样的场景：启元机器人正在你家里执行任务，用户说"去厨房把冰箱里的牛奶拿过来"。机器人需要先搞清楚一个问题：我现在在哪？
这个问题听起来简单，但对机器人来说，却是所有导航任务的第一步。如果机器人不知道自己在客厅还是卧室，就无法规划到厨房的路径；如果机器人不知道自己在厨房的哪个位置，就无法准确走到冰箱面前。
这就是视觉重定位 要解决的问题。论文把它定义为：根据视觉传感器实时拍摄的数据，在已有先验地图中确定位置和姿态的问题。
1.2 为什么视觉重定位是导航的基础
论文在引言中明确指出：智能设备在复杂环境中感知自身位置，即自定位能力是众多应用的基础。
视觉传感器由于其结构简单、成本低，往往是各类智能设备自定位的首选传感器。但视觉传感器无法直接获取深度信息，易受光照等环境因素影响，视觉里程计存在累计误差等问题。
而在预先制备的高精度先验地图中基于视觉进行重定位，可以很好地克服视觉里程计的缺点，提升视觉定位的可靠性和准确性。
视觉重定位对启元机器人的核心价值：
- 任务起点：用户说"去客厅拿水杯"，机器人首先要知道自己在哪，才能规划到客厅的路径。
- 任务切换：机器人从"去客厅"切换到"去厨房"时，需要实时知道自己的位置，才能重新规划路径。
- 任务失败恢复：机器人执行任务过程中如果发生碰撞或偏移，需要通过重定位校正自己的位置。
1.3 本文脉络
本文以《基于先验地图的视觉重定位方法综述》为核心蓝本，系统拆解五类先验地图、五类重定位方法以及环境变化下的鲁棒性挑战。在此基础之上，本文从家庭/商业场景视觉重定位的角度，探讨该技术对启元机器人导航基础能力、Skill任务编排以及AtomGit开发者生态的技术启发。
二、基础地基------五类先验地图
环境表示是视觉重定位的基础。论文将现有的先验地图分为五大类。
从图中可以看到五类地图的完整架构：图像数据库、点云地图、稠密边界表示地图、高分辨率地图、语义地图。
2.1 点云表示地图
点云表示地图由3D空间中一系列带有三维坐标的无序点组成。论文进一步将其划分为三类：
（1）雷达点云地图：由激光雷达扫描后使用3D激光SLAM算法得到。雷达点云地图不容易受到环境光照条件变化的影响，在纹理较少的环境中也能较好地重建环境。但缺失纹理信息，体积较大。
（2）图像点云地图：使用相机采集的环境图片或视频数据作为输入，使用SfM算法重建得到。保留了图像特征信息，但建图精度易受光照等环境变化干扰。
（3）体素化点云地图：用一定大小的三维立方体对原始点云进行分割。包含三维结构信息，计算量较小，但存在精度损失。
2.2 图像数据库地图
图像数据库地图由一系列带有6-DoF位姿信息的图像组成。图像数据库采集方便，纹理信息丰富，但地图精度依赖数据采集频率，易受光照变化、季节更替的影响。
2.3 稠密边界表示地图
稠密边界表示地图尝试准确地表示场景表面和结构，主要包括：
- 三角网格地图：结构简单，生成快速，但计算复杂，地图体积较大。
- 有向距离场表示地图：直接记录距离信息，但计算资源消耗大，场景大小需要提前固定。
- 面元表示地图：无需维护拓扑关系，包含较多纹理信息，但地图体积大。
2.4 语义地图
语义地图在一些现有的数据形式上提取更高级的语义信息并保存。由于语义信息不会受到光照、季节变化等因素干扰，语义地图具有很强的鲁棒性，是跨模态定位的理想载体。
2.5 高分辨率地图
高分辨率地图专为无人驾驶相关应用服务，主要以矢量形式存储道路、建筑、路标等交通元素。具有高度结构化、地图体积较小、精度高等特点，但制备较为复杂。
| 先验地图 | 传感器 | 存储方式 | 优势 | 劣势 |
|---|---|---|---|---|
| 点云地图 | 激光雷达/相机 | Octree/KD-Tree | 精度高、鲁棒性好 | 缺失纹理、体积大 |
| 图像数据库 | 相机 | 直接存储 | 采集方便、纹理丰富 | 依赖采样频率、受环境变化影响 |
| 稠密边界 | 相机/深度相机 | Octree/KD-Tree | 精细度高 | 计算复杂、体积大 |
| 语义地图 | 多传感器 | 多种 | 鲁棒性高 | 制备复杂 |
| 高分辨率地图 | 多传感器 | 矢量存储 | 结构化、体积小 | 制备复杂 |
三、核心技术深度拆解------五类重定位方法
3.1 图像数据库中的视觉重定位
图像数据库中的重定位方法主要分为两类：
（1）基于图像检索的定位方法
核心思想是首先从图像数据库中搜索到与查询图像最相似的参考图像，并根据查询图像与参考图像的相对位姿关系以及参考图像的位姿标签计算查询图像的位姿信息。
论文介绍了三种主要的图像检索方法：视觉词袋模型、局部特征聚合向量、基于神经网络的特征提取方法。
（2）基于位姿回归网络的重定位方法
通过端到端的深度神经网络提取查询图像的高维特征信息，直接回归得到相机位姿预测结果。
| 查询信息 | 方法 | 主干网络 | 泛化性 | 7Scenes精度 |
|---|---|---|---|---|
| 单张图像 | PoseNet | GoogLeNet | 差 | 0.44m/10.44° |
| 单张图像 | Bayesian PoseNet | GoogLeNet | 差 | 0.47m/9.81° |
| 单张图像 | Geometric PoseNet | GoogLeNet | 差 | 0.23m/8.12° |
| 单张图像 | AtLoc | ResNet-34 | 差 | 0.20m/7.56° |
| 单张图像 | MSPN | ResNet-34 | 好 | 0.20m/8.41° |
| 序列图像 | MS-Transformer | Transformer | 好 | 0.18m/7.28° |
| 序列图像 | DFNet | VGG16 | 好 | 0.12m/3.71° |
| 序列图像 | SC-wLS | --- | 好 | 0.03m/0.99° |
3.2 点云地图中的视觉重定位
点云地图与查询图像处于不同模态，无法直接比较，需要先转换到同一模态下再进行比较。
（1）基于特征点匹配的重定位方法
核心流程是：匹配关系搜索 → 位姿关系解算。论文详细介绍了F2P和P2F两种匹配关系搜索模式。
| 方法 | 特征点 | 搜索机制 | 位姿解算 | 特点 |
|---|---|---|---|---|
| Royer等 | Harris角点 | F2P | P3P+RANSAC | 早期工作 |
| Irschara等 | SIFT | F2P | P3P+RANSAC | 引入词汇树 |
| Li等 | SIFT | P2F | DLT+BA | 基于优先级的P2F搜索 |
| Active Search | SIFT | F2P+P2F | DLT+RANSAC | 综合使用F2P和P2F |
| HFNet | HFNet特征 | F2P | P3P+RANSAC | 神经网络提取特征 |
| PixLoc | --- | --- | --- | 端到端相机位姿预测 |
（2）基于点云投影的重定位方法
将点云投影为图像，再和查询图像进行比较。根据相似度最高的投影图像对应的位姿即可得到查询图像的位姿。
（3）基于查询图像升维的重定位方法
通过场景坐标回归或查询图像局部场景重建的方式对查询图像进行升维操作，从而和全局点云地图建立数据关联。
3.3 稠密边界表示地图中的视觉重定位
稠密边界表示地图在表示场景的几何结构的同时保持了环境的表面信息，使场景更加稠密和精细。但由于相关研究还处于发展阶段，目前用这类地图进行视觉重定位研究的工作较少。
3.4 高分辨率地图中的视觉重定位
在高分辨率地图中的定位方法的核心思路是将图像中的道路元素和高分辨率地图中的道路元素进行对齐。
3.5 语义地图中的视觉重定位
语义地图的地图元素中带有对应的语义标签，可以为重定位算法提供更高级的信息。
语义地图中定位方法的核心思想可以分为三类：
- 全局语义特征：用场景的语义信息构建全局描述符。
- 语义对应关系：利用语义标签的对应关系缩小特征匹配范围。
- 鲁棒特征选择：用语义信息指导算法关注更鲁棒的特征。
四、环境变化下的鲁棒性挑战
4.1 视觉重定位的常用数据集
| 数据集 | 传感器 | 场景 | 环境变化 | 语义标签 |
|---|---|---|---|---|
| Google Street View | 相机 | 室外 | --- | 无 |
| Aachen Day-Night | 相机 | 室外 | 日夜变化 | 无 |
| 7Scenes | RGB-D相机 | 室内 | --- | 无 |
| KITTI | 多传感器 | 室外 | --- | 无 |
| CMU Seasons | GPS/相机 | 室外 | 季节变化 | 无 |
| Oxford RobotCar | 多传感器 | 室外 | 多天气/季节 | 无 |
| nuScenes | 多传感器 | 室外 | 天气变化 | 有 |
4.2 六大挑战
论文在第9节系统梳理了视觉重定位面临的六大挑战：
（1）语义信息的利用
目前大多数视觉重定位算法对语义信息的利用还停留在比较浅的层次。语义信息可以从更高维度对场景进行表示和描述，是未来算法设计的必然发展趋势。
（2）大规模场景
很多工作都建立在提供相机粗略位姿这一假设基础上开展研究，而这一假设在现实的大规模复杂场景中往往很难保证。
（3）模型泛化性
大部分基于深度学习的方法都需要在场景相对应的数据上进行训练，对数据集中未包含的新场景往往效果很差。
（4）复杂环境条件
复杂多变的天气状况、早晚不同的光照条件以及季节更替等因素都会造成场景外观发生变化，给基于视觉的重定位算法带来很大问题。
（5）实时性
很多研究工作已经取得了不错的精度，但往往需要较复杂的计算或较复杂的神经网络模型，对部署平台的硬件条件具有一定要求。
（6）与XR应用结合
XR应用离不开6-DoF视觉重定位技术的支持，但大部分现有算法无法直接应用到这些场景中。
五、启元生态专属锚定与展望
5.1 启元机器人的视觉重定位需求
启元机器人作为一款面向真实场景的具身智能体，其核心能力之一是在未知环境中自主导航并找到目标物体。视觉重定位是这个能力的基础。
先看启元官方开发者社区的定位：
从这张截图能看到，启元的愿景是"把机器人带进每一个真实场景"，并且强调"说出需求，我来为你完成"。这句话背后有一个很现实的技术问题：机器人要"完成"需求，首先得知道自己在哪里，才能规划路径、执行任务。
视觉重定位技术对启元机器人的核心价值：
- 家庭场景定位：启元机器人在家庭环境中执行任务时，需要知道自己当前在客厅、厨房还是卧室，才能规划到目标位置的路径。
- 商业场景定位：启元机器人在商场、办公楼等商业场景中，需要基于先验地图进行重定位，才能在复杂环境中准确导航。
- 环境变化适应：家庭和商业场景的光照、布局会随时间变化，视觉重定位算法需要具备跨环境变化的鲁棒性。
5.2 从Skill开发看视觉重定位的工程价值
启元的Skill开发工具链，本质上是将机器人的原子能力封装为可复用的技能模块。视觉重定位技术对Skill开发的增益体现在：
（1）导航作为基础Skill
视觉重定位是"去某处"这个Skill的核心技术。无论是"去客厅"、"去厨房"还是"去卧室"，底层都需要视觉重定位能力。
（2）语义地图作为环境表示
论文中基于语义地图的重定位方法，可以锚定启元机器人在家庭环境中对"客厅""厨房"等语义空间的识别与定位。
（3）环境变化鲁棒性
论文中关于环境外观变化（光照、季节）的鲁棒性讨论，可以锚定启元机器人在真实部署中面临的场景变化挑战。
5.3 启元AtomGit社区与视觉重定位生态
再看启元在AtomGit上的开源布局：
从这张截图能看到，启元已经明确表示"我们将技能（Skills）、SDK与工具链开源于AtomGit"。视觉重定位作为一项基础导航能力，完全可以在AtomGit上构建以下模块：
| 模块 | 内容 | 对应论文技术 |
|---|---|---|
| 先验地图构建库 | 点云地图、语义地图、图像数据库构建 | 第2节 |
| 特征匹配库 | SuperGlue、LoFTR、DSAC等算法 | 第3节 |
| 位姿解算库 | PnP+RANSAC、位姿回归网络 | 第3节 |
| 环境适应模块 | 图像外观归一化、语义增强 | 第4节 |
| 数据集适配 | KITTI、7Scenes、CMU Seasons等 | 第8节 |
5.4 从"知道自己在哪"看启元导航能力
论文在最后部分讨论了视觉重定位与XR应用结合的趋势。这个趋势对启元机器人同样有参考价值：随着AR/VR技术与机器人技术的融合，未来的机器人交互可能不再局限于语音和屏幕，而是通过XR设备进行更自然的交互。
视觉重定位，不仅是机器人"知道自己在哪"的技术手段，更是启元机器人从"能导航"走向"能干活"的关键基础能力。
六、总结与展望
本文以《基于先验地图的视觉重定位方法综述》为核心蓝本，系统拆解了视觉重定位的技术全景：
- 五类先验地图：点云地图、图像数据库、稠密边界表示地图、语义地图、高分辨率地图。
- 五类重定位方法：图像检索、位姿回归、特征点匹配、点云投影、查询图像升维。
- 六大挑战：语义信息利用、大规模场景、模型泛化性、复杂环境条件、实时性、与XR应用结合。
在此基础之上，本文从家庭/商业场景视觉重定位的角度，探讨了：
- 视觉重定位技术对启元机器人导航基础能力的核心价值。
- AtomGit社区如何构建视觉重定位生态模块。
- 从"知道自己在哪"看启元导航能力。
视觉重定位，不仅是机器人导航的技术手段，更是启元机器人从"能走能跑"走向"能找能干"的关键基础能力。
尾
本期技术解构至此。
论文揭示的方法论范式对跨领域技术实践具有普适参考价值。下期将聚焦其他前沿成果，深入剖析其的突破路径。敬请持续关注，共同深挖工程实现脉络，淬炼创新底层逻辑，在学术与工程融合中洞见技术演进规律，推动领域范式持续进化。