传统视觉SLAM受限于静态假设，在动态环境中定位与建图精度难以满足实际需求。深度学习技术的介入，正在从预处理、视觉里程计、闭环检测到语义建图全面改写SLAM的技术路线。北京科技大学李擎、邵圣、马靖超、王恒、曾慧在《工程科学学报》2026年第3期发表的综述《基于深度学习的移动机器人同时定位与建图研究综述》，系统梳理了这一领域的最新进展。本文提炼其核心脉络，突出关键论文、图表与实验对比。
一、传统视觉SLAM的五个环节与三重局限
视觉SLAM基于相机、轮速计、惯性测量单元等传感器，使机器人在未知环境中自主构建地图并确定自身位置。如图1所示，整个SLAM技术分为五个环节：特征提取、特征匹配、运动估计、地图构建和闭环检测。
图1：视觉SLAM 框架流程图（原文 Fig.1）。五个环节串成主链路，闭环检测的结果再回馈给运动估计
传统方法的发展脉络清晰：2007年牛津大学PTAM提出图像金字塔预处理，结合高斯模糊和分层跟踪提升运动估计效率；同年帝国理工学院MonoSLAM通过卡尔曼滤波融合预测信息；2014年ORB-SLAM在预处理阶段进行相机标定和图像去畸变；2017年起ORB-SLAM2/3使用ORB特征与词袋模型进行闭环检测，结合位姿图优化消除累积误差；2018年香港科技大学秦通团队提出VINS-Mono，采用紧耦合视觉-惯性融合与预积分技术；2019年VINS-Fusion进一步融合双目、IMU与GPS。
然而，传统视觉SLAM存在三重局限：特征提取依赖丰富纹理 ，弱纹理或光照较弱区域无法提取足够特征点；无法处理快速运动物体 ；视觉里程计累积误差随时间增大。这些局限的根源在于静态假设。
二、主流深度学习网络：从AlexNet到Transformer
综述梳理了支撑SLAM各模块的深度学习骨干网络演进：
- 2012年AlexNet引入ReLU和Dropout，开启深度学习时代；
- 2014年VGGNet探索网络层数对分类性能的影响；
- 2016年DeepLab使用空洞卷积和多尺度融合处理大感受野；
- 2017年Mask R-CNN 实现实例级像素掩膜分割，SegNet以参数少、计算高效被广泛用于自动驾驶和移动端；
- 2018年Transformer自注意力机制提出，深度学习进入新时代；
- 2020年DETR实现端到端目标检测；
- 2022年CMT-DeepLab 将目标查询重新定义为聚类中心，SPIN用超像素聚类替代固定网格Patch；
- 2023年PaCa-ViT采用Patch-to-Cluster注意力机制；
- 2024年TCFormer通过聚类逐步合并语义相似的像素令牌；
- 2025年DF-Former从部分卷积出发进行局部细节建模，实现空域和频域融合学习。
这些网络被嵌入SLAM各模块，针对光照变化敏感、静态条件假设等问题进行改进。
三、视觉里程计：特征提取与位姿估计的双线突破
视觉里程计的核心是估计相机运动轨迹，分为特征提取与位姿估计两部分。
3.1 特征提取
SuperPoint（图2，原文Fig.2）通过自监督全卷积网络同时检测特征点和计算描述子，避免传统分步处理的误差累积，但依赖硬件加速，CPU端运行受限。其框架图清晰展示了图像对经SuperPoint网络输出兴趣点与描述子、再生成点对应的流程。
图2：SuperPoint 框架（原文 Fig.2）。上支为兴趣点检测，下支为描述子计算，右侧为点对应结果
GCNv2 基于深度学习生成与ORB兼容的二进制描述子，可直接替换传统ORB特征并无缝集成到ORB-SLAM2，在CPU上实现实时性。POL-VIO 设计基于边缘约束检测器（HAWP）提取线特征，解决检测精度低、误差建模不完整的问题。AirSLAM 设计统一特征检测模型PLNet，同时检测关键点和结构线特征，通过点线融合提高低纹理场景跟踪成功率。LIFT提出端到端网络直接完成特征检测、方向估计与描述子生成，但结构复杂、可解释性差，仅适用于离线高精度三维重建。
核心矛盾在于：融合深度学习的特征提取虽丰富语义信息，却使计算量变高，实时性难以保证。
3.2 位姿估计
恢复尺度信息是单目SLAM的关键。CNN-SLAM 利用CNN预测稠密深度图并经SLAM框架优化相机深度和位姿，解决单目尺度不确定性，但深度图边缘模糊。GEN-SLAM 基于生成对抗网络和预训练深度传感器数据构建先验地图，训练完成后仅需单目相机即可导航，但依赖预建地图和离线训练。UnDeepVO 使用无监督学习框架，通过双目图像光度一致性约束联合优化深度和位姿，但单目精度不足。DeMoN 通过监督信号直接优化网络参数输出稠密深度图和6自由度位姿，计算复杂度高、实时性差。DSC-PoseNet使用自监督双尺度位姿估计网络，通过可微分渲染器的跨尺度自监督降低合成数据与实际数据差异，但泛化性较低、对光照和背景敏感。
表1 深度学习下的视觉里程计算方法总结（原文 Table 1）
表1：原文表格截图（英文原表）。SuperPoint"自监督训练降低数据依赖"但"适应性较差"，GCNv2"高效实时"但"泛化性差"，CNN-SLAM"绝对尺度恢复与实时运行"但"依赖 GPU 且深度图边缘模糊"
方法横向覆盖 SuperPoint、GCNv2、POL-VIO、AirSLAM、LIFT-SLAM、CNN-SLAM、GEN-SLAM、UnDeepVO、DeMoN、DSC-PoseNet 共 11 种，逐项给出核心优势、主要应用场景与局限。
四、后端优化：闭环检测与全局优化的深度学习解法
4.1 闭环检测
传统方法依赖词袋向量和手工设计特征，难以应对照明、天气、视点变化及移动对象。深度学习在特征提取和压缩方面的能力显著提升闭环精度：
- AlexNet用于闭环检测，利用中间层输出特征描述整幅图像，通过特征向量范数计算相似度；
- 堆叠去噪自动编码器通过无监督学习提取图像特征；
- PoseNet将视觉定位转化为端到端回归任务，单张RGB图像直接回归6自由度位姿；
- NetVLAD将VLAD嵌入CNN，通过可微分软分配机制实现端到端训练，显著提高场景再识别准确性；
- GhostVLAD引入聚类中心概念，削弱低质量特征影响；
- DX-SLAM采用HF-Net提取特征，仅用单个推理模型提供局部和全局特征，并以增量方式训练词汇表、使用FBoW框架构建词汇表；
- MNE-SLAM提出首个分布式多智能体神经SLAM框架，创新intra-to-inter闭环检测模块，既消除单智能体累积误差，又通过渲染一致性损失对齐多智能体轨迹。
现存问题包括特征筛选困难、场景表达能力不足以及评价指标不统一。
4.2 全局优化
SLAM后端通过构建光束法平差（BA）问题优化相机运动与场景物体位姿，目标函数为：
argminCi,Pj∑i,j∥π(Ci,Pj)−uij∥2\arg\min_{C_i,P_j}\sum_{i,j}\left\|\pi\left(C_i,P_j\right)-u_{ij}\right\|^2argCi,Pjmini,j∑∥π(Ci,Pj)−uij∥2
其中CiC_iCi为iii时刻相机位姿，PjP_jPj为第jjj个路标点坐标，uiju_{ij}uij为像素坐标，π(⋅)\pi(\cdot)π(⋅)为投影函数。传统方法采用Gauss-Newton或Levenberg-Marquardt二阶求解器。
深度学习方法从两个方向介入：LS-Net 将深度学习应用到求解器，学习训练数据先验知识后用分析优化器优化网络预测以确保光度一致性；BA-Net 将可微分二阶求解器集成到DNN进行端到端学习，在特征空间优化ConvNets提取的多视角图像特征一致性损失，可解决光照敏感、环境动态变化等问题。另一方向是训练网络提取新场景特征表示并融入优化模块联合优化：DeepFactors 将学习到的深度编码特征传递到图优化作为节点构建误差项；DeepTAM 将DNN预测的深度和位姿融入DTAM并用后端位姿增量更新深度预测；NeuralBundler使用无监督视觉里程计生成多视图约束的滑动窗口位姿图并联合优化。
五、语义SLAM：从动态物体剔除到神经辐射场建图
语义SLAM在几何地图基础上为元素赋予类别标签，提升环境感知与决策能力。
5.1 基于预处理的语义信息
Co-Fusion 使用多目标分割与跟踪，为每个物体构建独立3维模型。MaskFusion 结合Mask R-CNN实例级语义分割与深度几何分割，实时生成带语义标签的动态对象掩膜并传递给后端线程，但需双GPU并行。**Fusion++**同样采用Mask R-CNN结合几何信息计算像素属于物体的概率，通过概率数据关联优化相机与物体位姿，实现物体级稠密地图构建，但无法区分静态与动态物体。DS-SLAM 基于ORB-SLAM2结合SegNet，采用光流和RANSAC进行运动一致性检查剔除动态特征点，生成稠密语义八叉树地图。PMF-SLAM 提出位姿引导的多尺度特征交互方法，设计双分支特征融合结构在3D稀疏空间实现全局与局部特征交互。MSF-SLAM 采用多模块多级别融合框架，LiDAR为视觉提供3D几何信息，视觉通过运动掩膜去除LiDAR动态点。AVM-SLAM（图3，原文Fig.3）使用DDRnet融合环视鱼眼相机、轮速计和IMU数据，首次在鸟瞰图中实现眩光去除，提升道路标记语义分割精度。
图3：AVM-SLAM 框架（原文 Fig.3）。左侧为传感器与 AVM 鸟瞰图生成，中部为特征提取/匹配与 EKF 位姿预测，右侧为 SMap、GMap 与 Optimizer 构成的建图模块
语义地图的最终形态如图4：稠密点云按物体类别着色，机器人不仅能定位，还能直接判断"这是什么、在哪里"。
图4：语义信息地图（原文 Fig.4）。几何点云叠加类别标签，是语义SLAM与纯几何SLAM最直观的差别
目标检测路线因硬件要求较低而兴起：EAO-SLAM 结合单样本T检验的参数化与非参数化统计方法提升物体级数据关联鲁棒性，采用曲面椭圆和立方体表示物体，通过孤立森林算法剔除异常值；SG-SLAM 使用轻量级MobileNetV3和极线约束动态过滤移动物体，为不同动态类别赋权自适应调整阈值；Dynamic-VINS使用YOLOv3实时检测动态物体并结合IMU辅助跟踪，可在低算力嵌入式设备实时运行。
表2 深度学习下的语义SLAM对比（原文 Table 2）
表2：原文表格截图（英文原表）。DS-SLAM"支持高级机器人任务"但"对其他动态类别适应性差"，Dynamic-VINS"低算力消耗"但"运动协调性差"
表中对比了 Co-Fusion、MaskFusion、Fusion++、DS-SLAM、EAO-SLAM、SG-SLAM、Dynamic-VINS 七种方法的核心优势、应用场景与局限。
现存语义SLAM方法大多将动态物体剔除，但动态物体较多的场景中剔除可能导致跟踪和建图信息不足------如何充分利用动态物体信息是未来研究重心。
5.2 基于三维场景表示的地图构建
神经辐射场（NeRF） 利用神经网络隐式学习和表示场景，通过多层感知机学习空间坐标到体积密度和视图相关颜色的映射：
Fa:(x,y,z,θ,ϕ)→(r,g,b,σ)F_a:(x,y,z,\theta,\phi)\rightarrow(r,g,b,\sigma)Fa:(x,y,z,θ,ϕ)→(r,g,b,σ)
其中(x,y,z)(x,y,z)(x,y,z)为空间位置，(θ,ϕ)(\theta,\phi)(θ,ϕ)为观察方向，(r,g,b)(r,g,b)(r,g,b)为颜色，σ\sigmaσ为体积密度。
iMAP 作为首个基于NeRF的SLAM框架，使用MLP隐式表示场景地图，奠定实时性基础但单一网络细节表征不足。NICE-SLAM 采用粗、中、细三级特征网格，粗网格捕捉全局结构、中和细网格优化局部细节，通过残差叠加高频几何信息提高细节表征。Co-SLAM在NICE-SLAM基础上结合哈希网格高效局部特征优化与one-blob编码平滑一致性先验，实现快速收敛与空洞填充，在RGB-D输入下实现实时高保真重建。三者的建图效果对比如图5，重建质量逐级提升。
图5：基于神经辐射场的 SLAM 地图。(a) iMAP；(b) NICE-SLAM；© Co-SLAM（原文 Fig.5）
后续改进针对动态环境适配、场景表示效率与闭环检测：Point-SLAM 将场景建模为带可学习特征的神经元点，利用NetVLAD提取关键帧描述子并通过余弦相似性检测闭环；Vox-Fusion 将场景划分为多分辨率体素网格，每个体素存储可优化特征向量，结合微型MLP预测几何与颜色；DMN-SLAM 直接在输入数据上优化，避免预训练模型对特定场景依赖，设计多MLP结构实现更高保真重建；FND-SLAM 通过语义分割和条件随机场分割动态物体，采用快速傅里叶卷积和邻帧信息填充空白，跟踪误差接近传统视觉SLAM；DN-SLAM 采用SAM精细分割精准剔除动态区域并修复背景，但两次分割导致实时性变差；SLC²-SLAM 利用场景潜在码作为局部特征结合语义引导特征聚合优化闭环检测；RoDyn-SLAM 融合RAFT-GMA光流与语义掩膜，通过滑动窗口迭代优化运动物体位姿；MoD-SLAM 集成单目深度估计与深度蒸馏模块，采用球坐标收缩函数与高斯编码解决无界场景表示；EN-SLAM 提出首个事件与RGB-D融合的隐式神经SLAM框架，采用可微分相机响应函数渲染技术统一RGB与事件数据表示；SLAM3R设计端到端双层次神经网络框架，无需显式估计相机参数实现局部重建与全局配准。
表3 基于神经辐射场的SLAM方法总结（原文 Table 3）
表3：原文表格截图（英文原表，14 种方法）。Point-SLAM"自适应资源分配与内存高效"但"动态场景鲁棒性不足"，EN-SLAM"适应亮度动态变化"但"不适用于纯视觉输入"
表中从 iMAP 一路覆盖到 SLAM3R，逐项列出各方法的核心优势、主要应用场景与局限，是判断"某篇 NeRF-SLAM 能不能用在你的场景"的速查表。
3D高斯建模用一组三维高斯分布表示空间几何与外观信息：
G(x)=1(2π)3/2∣Σ∣1/2exp(−12(x−μ)TΣ−1(x−μ))G(\pmb{x})=\frac{1}{(2\pi)^{3/2}|\pmb{\Sigma}|^{1/2}}\exp\left(-\frac{1}{2}(\pmb{x}-\pmb{\mu})^{\mathrm{T}}\pmb{\Sigma}^{-1}(\pmb{x}-\pmb{\mu})\right)G(x)=(2π)3/2∣Σ∣1/21exp(−21(x−μ)TΣ−1(x−μ))
相比NeRF，3D高斯建模训练和渲染速度更快且保持较高视觉质量。GS-SLAM 是首个将3D高斯表示与可微溅射渲染集成于SLAM的方法，设计添加和删除的双向优化机制提高场景适应性。SplaTAM 采用轻量型高斯参数化，设计轮廓掩膜策略仅对高覆盖度可靠像素进行位姿优化。RGBDS-SLAM 构建3D多层金字塔高斯建模，先低分辨率快速初始化再逐步提升分辨率恢复细粒度细节。VINGS-Mono 提出首个支持户外公里级场景的单目高斯溅射SLAM框架，设计分数量理器实现高斯核高效筛选与CPU-GPU内存调度。DDN-SLAM融合语义特征与高斯混合模型的动态目标分割，设计光学流背景补全和稀疏点云引导采样的混合背景恢复策略。
表4 Replica数据集实验对比结果（原文 Table 4）
表4：原文表格截图。NICE-SLAM、Co-SLAM、Point-SLAM、MoD-SLAM、GS-SLAM、SplaTAM、RGBDS-SLAM 在 Replica 上的三项指标
关键数据：RGBDS-SLAM以PSNR 38.85、SSIM 0.97、ATE 0.59 cm表现突出 ；SplaTAM取得最低ATE 0.27 cm；Point-SLAM PSNR达35.17；MoD-SLAM ATE为0.35 cm。总体而言，3D高斯建模展现出巨大潜力，但仍需在内存优化、动态建模和移动端实时性方面突破。
六、总结与展望：五个未来方向
综述总结了三方面成果：视觉里程计融入深度学习丰富特征点信息、提升位姿估计精度；后端优化利用深度学习特征提取与压缩能力使闭环检测更准确、全局优化方法更丰富；结合预处理语义信息与神经辐射场技术构建应用面更广的语义地图。
面向实际落地，作者提出五个发展方向：
- 场景的长期建模：结合增量式学习或持续学习，使SLAM系统识别场景长期变化并自主建图；
- NeRF与传统视觉SLAM耦合：将NeRF模块化融入传统SLAM，在保证可解释性和实时性的同时提升建图效率与质量；
- 端到端网络设计：探索统一端到端学习框架，从原始传感器输入直接输出位姿估计与地图构建；
- 轻量化与实时性优化：设计轻量化网络结构，结合模型压缩、知识蒸馏、边缘计算与专用硬件提升推理速度；
- 多模态信息融合：通过深度学习对不同模态数据协同表征与融合，提升复杂环境中的稳定性与准确性。
随着深度学习技术日趋成熟，机器人的环境理解与交互方式将更加多元化，深度学习与SLAM的融合有望显著提升SLAM技术的现代化能力。
重要论文引用
1 Klein G, Murray D. Parallel tracking and mapping for small AR workspaces // 2007 6th IEEE and ACM International Symposium on Mixed and Augmented Reality. Nara, 2008: 225
2 Davison A J, Reid I D, Molton N D, et al. MonoSLAM: Real-time single camera SLAM. IEEE Trans Pattern Anal Mach Intell, 2007, 29(6): 1052
3 Mur-Artal R, Montiel J M M, Tardos J D. ORB-SLAM: A versatile and accurate monocular SLAM system. IEEE Trans Robot, 2015, 31(5): 1147
4 Mur-Artal R, Tardos J D. ORB-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras. IEEE Trans Robot, 2017, 33(5): 1255
5 Campos C, Elvira R, Rodriguez J J G, et al. ORB-SLAM3: An accurate open-source library for visual, visual-inertial, and multimap SLAM. IEEE Trans Robot, 2021, 37(6): 1874
6 Qin T, Li P L, Shen S J. VINS-mono: A robust and versatile monocular visual-inertial state estimator. IEEE Trans Robot, 2018, 34(4): 1004
7 DeTone D, Malisiewicz T, Rabinovich A. SuperPoint: Self-supervised interest point detection and description // 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Salt Lake City, 2018: 337
8 Tang J X, Ericson L, Folkesson J, et al. GCNv2: Efficient correspondence prediction for real-time SLAM. IEEE Robot Autom Lett, 2019, 4(4): 3505
9 Bruno H M S, Colombini E L. LIFT-SLAM: A deep-learning feature-based monocular visual SLAM method. Neurocomputing, 2021, 455: 97
10 Tateno K, Tombari F, Laina I, et al. CNN-SLAM: Real-time dense monocular SLAM with learned depth prediction // 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017: 6565
11 Li R H, Wang S, Long Z Q, et al. UnDeepVO: Monocular visual odometry through unsupervised deep learning // 2018 IEEE International Conference on Robotics and Automation (ICRA). Brisbane, 2018: 7286
12 Kendall A, Grimes M, Cipolla R. PoseNet: A convolutional network for real-time 6-DOF camera relocalization // 2015 IEEE International Conference on Computer Vision (ICCV). Santiago, 2016: 2938
13 Arandjelovic R, Gronat P, Torii A, et al. NetVLAD: CNN architecture for weakly supervised place recognition. IEEE Trans Pattern Anal Mach Intell, 2018, 40(6): 1437
14 Li D J, Shi X S, Long Q W, et al. DXSLAM: A robust and efficient visual SLAM system with deep features // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Las Vegas, 2021: 4958
15 Deng T C, Shen G L, Xun C, et al. MNE-SLAM: Multi-agent neural SLAM for mobile robots // 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, 2025: 1485
16 Clark R, Bloesch M, Czarnowski J, et al. Learning to solve nonlinear least squares for monocular stereo // Computer Vision -- ECCV 2018. Munich, 2018: 291
17 Tang C, Tan P. BA-Net: Dense bundle adjustment network // Proceedings of the International Conference Learning Representation. New Orleans, 2019: 1
18 Czarnowski J, Laidlow T, Clark R, et al. DeepFactors: Real-time probabilistic dense monocular SLAM. IEEE Robot Autom Lett, 2020, 5(2): 721
19 Yu C, Liu Z X, Liu X J, et al. DS-SLAM: A semantic visual SLAM towards dynamic environments // 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid, 2018: 1168
20 Runz M, Buffier M, Agapito L. MaskFusion: Real-time recognition, tracking and reconstruction of multiple moving objects // 2018 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Munich, 2019: 10
21 Wu Y M, Zhang Y Z, Zhu D L, et al. EAO-SLAM: Monocular semi-dense object SLAM based on ensemble data association // 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Las Vegas, 2020: 4966
22 Cheng S H, Sun C H, Zhang S J, et al. SG-SLAM: A real-time RGB-D visual SLAM toward dynamic scenes with semantic and geometric information. IEEE Trans Instrum Meas, 2023, 72: 7501012
23 Li Y, Yang W C, Lin D K, et al. AVM-SLAM: Semantic visual SLAM with multi-sensor fusion in a bird's eye view for automated valet parking // 2024 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Abu Dhabi, 2024: 7937
24 Sucar E, Liu S K, Ortiz J, et al. iMAP: Implicit mapping and positioning in real-time // 2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, 2021: 6209
25 Zhu Z H, Peng S Y, Larsson V, et al. NICE-SLAM: Neural implicit scalable encoding for SLAM // 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, 2022: 12776
26 Wang H Y, Wang J W, Agapito L. Co-SLAM: Joint coordinate and sparse parametric encodings for neural real-time SLAM // 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, 2023: 13293
27 Sandström E, Li Y, Van Gool L, et al. Point-SLAM: Dense neural point cloud-based SLAM // 2023 IEEE/CVF International Conference on Computer Vision (ICCV). Paris, 2023: 18387
28 Yang X R, Li H, Zhai H J, et al. Vox-Fusion: Dense tracking and mapping with voxel-based neural implicit representation // 2022 IEEE International Symposium on Mixed and Augmented Reality (ISMAR). Singapore, 2022: 499
29 Ruan C Y, Zang Q Y, Zhang K H, et al. DN-SLAM: A visual SLAM for dynamic environments based on semantic segmentation // 2024 IEEE International Conference on Robotics and Automation (ICRA). Yokohama, 2024: 1
30 Yan Z K, Wang Y, Yang Y X, et al. GS-SLAM: Dense visual SLAM with 3D Gaussian splatting // 2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, 2024: 1
说明：本文图1---图5、表1---表4 均截自李擎、邵圣、马靖超、王恒、曾慧《基于深度学习的移动机器人同时定位与建图研究综述》（《工程科学学报》2026 年第 3 期），仅作技术解读之用；表1---表4 保留原文英文内容，未做翻译或数据改动。