视觉SLAM十四讲:从理论到实践(Chapter8:视觉里程计2)

前言

学习笔记,仅供学习,不做商用,如有侵权,联系我删除即可

一、目标

1.理解光流法跟踪特征点的原理。

2.理解直接法是如何估计相机位姿的。

3.实现多层直接法的计算。

特征点法存在缺陷:

二、光流(Optical Flow)

光流:空间运动物体在观察成像平面上的像素运动的瞬时速度。

稀疏光流:计算部分像素的运动

稠密光流:计算所有像素的运动

Lucas-Kanade光流

灰度不变假设:同一个空间点的像素灰度值,在各个图像中是固定不变的。灰度不变假设是一个很强的假设,实际中很可能不成立。

根据灰度不变假设,有:

于是有:

在LK光流中,假设某一个窗口(patch)内的像素具有相同的运动。

三、直接法

依旧是灰度不变假设的前提,同时还需要无遮挡,完全漫发射,不考虑光照变化的前提

目标函数:最小化光度误差(Photometric error)

直接法的跟踪方式有:LSD,SVO,DTAM等开源方案。

,第一项与相机位姿没有关系,所以只对第二项求梯度,因此引入中间变量:,所以会有:

第一项:,像素点位置变化时,图像亮度的变化情况。

第二项:空间点的变化对像素坐标的影响。

第三项:

后两项只与三维点q有关,与图像无关,因此常合到一起,物理意义为:相机发生微小运动后,投影在像面上的像素点位置的变化情况,**也就是重投影误差的梯度,**其公式形式为:

DTAM------使用所有像素。(但无梯度处对目标函数无贡献)

SVO------使用fast关键点处所在的4x4的patch。(fast特征点表明该处梯度明显)

LSD------使用梯度明显的所有像素点。(数量比SVO多,但比所有像素要少)

非线性优化的实现方式:

Eigen:需要自己编写,优点是中间过程可以检验是否正确

g2o:快速且方便,但中间过程被隐藏在中间框架里,不可视

直接法的优点:

  1. 可以省去计算特征点、描述子的时间。

  2. 只要求有像素梯度即可,不需要特征点。因此,直接法可以在特征缺失的场合下使用。比较极端的例子是只有渐变的一幅图像。它可能无法提取角点类特征,但可以用直接法估计它的运动。在演示实验中,我们看到直接法对随机选取的点亦能正常工作。这一点在实用中非常关键,因为实用场景很有可能没有很多角点可供使用。

  3. 可以构建半稠密乃至稠密的地图,这是特征点法无法做到的。

直接法的缺点:

  1. 非凸性!直接法完全依靠梯度搜索,降低目标函数来计算相机位姿。 但是图像本身是强烈非凸的函数。------优化算法容易局部极小,只在运动很小时才行。

  2. 单个像素没有区分度。找一个和它像的实在太多了!------每个像素对改变相机运动的"意见"不一致。只能少数服从多数,以数量代替 质量。

  3. 灰度值不变是很强的假设。

直接法适用于初始值还不错,而且前后两帧的运动距离不能差太远的情况。

总结

相关推荐
星恒随风6 分钟前
MySQL 从零入门(九):事务管理详解——ACID、COMMIT、ROLLBACK、SAVEPOINT 与四种隔离级别
linux·服务器·数据库·笔记·mysql
蒸蒸yyyyzwd8 分钟前
秋招操作系统错题本
笔记·八股
星恒随风44 分钟前
MySQL 从零入门(十一):视图与用户权限管理详解
linux·服务器·数据库·笔记·mysql
山楂树の1 小时前
Java 泛型:泛型类、泛型方法、泛型接口与通配符
java·开发语言·笔记
努力写代码的熊大4 小时前
Linux 个人复盘博客 · 第六篇 Linux 进程间五种通信:匿名管道、命名管道、共享内存、消息队列与信号量
linux·经验分享·笔记
蒸蒸yyyyzwd4 小时前
深搜广搜学习笔记
笔记·学习
小七在进步5 小时前
string的实现(3)
开发语言·c++·笔记·visual studio
叼烟扛炮5 小时前
[LangChain] 学习笔记(13):并发不是越大越好——batch / gather / 信号量 / 配额治理
笔记·学习·langchain
渣渣盟6 小时前
狂命爆肝99天,共52K字的JAVA学习笔记奉上,JAVA从入门到精通一文搞定,一文在手JAVA无忧
java·笔记·学习
叼烟扛炮17 小时前
[LangChain] 学习笔记(09):工具(Tool)定义与调用闭环 · 理论+实战完整版
笔记·学习·langchain