第13讲 实践:设计SLAM系统

设计一个视觉里程计,理解SLAM软件框架如何搭建,理解视觉里程计设计容易出现的问题以及解决方法。

目录

1、工程目标

2、工程框架

3、实现

附录


1、工程目标

  • 实现一个精简版的双目视觉里程计。由一个光流追踪的前端和一个局部BA的后端组成。

2、工程框架

  • 视觉里程计系统最基本的结构:图像、特征和图标。
    • 最基本单元是图像,在双目视觉里,是一对图像,可以称为一帧。
    • 对帧提取特征,这些特征很多是2D点、
    • 在图像间寻找特征的关联。若多次看到某个特征,可以用三角化计算它的3D位置,即路标
  • 两个重要模块:
    • 前端:前端负责提取图像中的特征,与上一帧进行光流追踪。通过光流结果计算该帧的定位。必要时,应补充新的特征点做三角化。前端处理的结果作为后端优化的初始值。
    • 后端:拿到处理后的关键帧和路标点,进行优化。
  • 流程 :前后端之间房一个地图模块来处理它们之间的数据流动。前端提取了关键帧后,往地图中添加新数据;后端检测到地图更新,运行一次优化,然后把地图中旧的关键帧和地图点去掉,保持优化规模。

3、实现

  • 基本数据结构:
    • Frame:id、是否为关键帧、位姿、左右图像、左右图像中的特征点。其中Pose会被前后端同时设置或访问,在Set,Get函数内加锁。
    • Feature:自身2D位置、是否为异常点、所在frame、关联地图点
    • MapPoint:3D位置、observations记录自己被哪些feature观察。
    • Map:以散列形式记录所有关键帧和对应路标点,同时维护一个被激活(窗口)的关键帧和地图点。
  • 前端
    • 前端目标:根据双目图像确定该帧的位姿
    • 处理逻辑:
      • 前端有初始化、正常追踪、追踪丢失三种状态
      • 在初始化状态,根据左右双目之间的光流匹配,寻找可以三角化的地图点,成功时建立初始地图。
      • 追踪阶段中,前端计算上一帧的特征点到当前帧的光流,根据光流结果计算图像位姿。该阶段只使用左目图像。
      • 若追踪到的点较少,就判定当前帧为关键帧。对于关键帧:
        • 提取新的特征点
        • 找到这些点在右图的对应点,用三角化建立新的路标点
        • 将新的关键帧和路标点加入地图,并触发一次后端优化。
      • 如果追踪丢失,重置前端系统,重新初始化。
  • 后端
    • 后端在启动之后,等到mao_update的的条件变量。当地图更新被触发时,从地图中拿取激活的关键帧和地图点,执行优化。

附录

  • weak_ptr 提供了一个非常重要的成员函数 lock(),该函数尝试从当前的 weak_ptr 创建一个 shared_ptr 实例。如果当前的 weak_ptr 所指向的对象仍然存在(即,至少还有一个 shared_ptr 在管理该对象),lock() 函数会返回一个指向该对象的 shared_ptr 实例,并且会增加该对象的引用计数。如果 weak_ptr 所指向的对象已经被销毁(即,没有任何 shared_ptr 在管理该对象),lock() 函数会返回一个空的 shared_ptr。
相关推荐
YOLO数据集集合6 小时前
无人机低空影像语义分割数据集 | 语义分割 遥感影像 无人机低空 地物分类 Potsdam Vaihingen LoveDA 9080期
人工智能·深度学习·yolo·目标检测·计算机视觉·语义分割·无人机数据集
硅谷秋水9 小时前
GE-Act 2.0:面向机器人操作的“世界-动作”模型预训练与扩展
机器学习·计算机视觉·语言模型·机器人
AI Blog12 小时前
YOLO数据集 | 第05期:无人机检测、电力巡检、阀门识别
深度学习·目标检测·计算机视觉·yolo数据集
Evand J18 小时前
【MATLAB例程|图像滤波降噪13】局部噪声方差自适应滤波(LNR)图像降噪与效果展示。附完整例程的下载链接
图像处理·计算机视觉·matlab·滤波·代码·降噪
星野云联AIoT技术洞察1 天前
RK3588 边缘 AI 盒子适合什么工业视觉场景
计算机视觉·边缘计算·rk3588·语音识别·图像识别·边缘网关·边缘计算盒子
这张生成的图像能检测吗1 天前
(论文速读)Cylinder3D:面向室外 LiDAR 分割的柱面划分与非对称 3D 卷积
计算机视觉·点云·3d视觉·三维感知
贾伟康1 天前
【HarmonyOS 7新能力|028】Core Vision Kit工程封装:把接入逻辑放进可维护的分层结构
计算机视觉·harmonyos·arkts·端侧ai·harmonyos 7
Zentceh1 天前
0.001Lux是什么概念
图像处理·人工智能·科技·计算机视觉·车载系统·无人机·智能硬件
这张生成的图像能检测吗1 天前
(论文速读)SphereFormer:用径向窗口解决 LiDAR 远距离稀疏点的信息断连
计算机视觉·点云·3d技术·三维感知
YOLO数据集集合1 天前
Anti-UAV 可见光与红外无人机检测数据集| 反无人机 可见光红外 多模态检测 小目标检测 Anti-UAV9076期
人工智能·目标检测·计算机视觉·目标跟踪·无人机识别·反无人机·灾害救援