SLAM十四讲学习笔记 第二期：部分课后实践代码

学书才浅2023-08-31 1:37

持续更新....

最近在看SLAM十四讲相关内容，顺便跑一跑快半年没有开过的虚拟机
本期在Ubuntu20上跑一跑《视觉SLAM十四讲》中提到的代码，按照顺序，从第二讲开始

代码库
https://github.com/gaoxiang12/slambook2

本文在ROS上运行cpp代码，一方面ROS与后续内容兼容性强，另一方面ROS的cpp功能做得已经十分完善了。

颜色代码
蓝色
红色
绿色

前期准备

创建与编译工作空间

shell 复制代码 
mkdir -p ~/Slam_ws/src
cd ~/Slam_ws/src
catkin_init_workspace 
cd ../
catkin_make

记得source！

第二讲

实验一：简单输出

创建功能包

shell 复制代码 
cd ~/Slam_ws/src
catkin_create_pkg Lec2

新建hello.cpp

cpp 复制代码 
#include <iostream>

int main()
{
  std::cout << "Hello, SLAM!" << std::endl;
  return 0;
}

编辑CMakeLists.txt

打开CMakeLists.txt文件在最后面添加以下行：

此处暂时不需要添加库

cpp 复制代码 
add_executable(HelloSlam hello.cpp)
target_link_libraries(HelloSlam ${catkin_LIBRARIES})

编译后运行

shell 复制代码 
cd ~/Slam_ws
catkin_make
source devel/setup.bash
rosrun Lec2 HelloSlam

显示结果

第五讲

任务一：imageBasics（Ubuntu配置opencv）

配置opencv3.X

参考这篇文章 Ubuntu20安装OpenCV3（图解亲测）

检验是否配置成功

shell 复制代码 
pkg-config opencv --modversion

创建功能包

shell 复制代码 
cd ~/Slam_ws/src
catkin_create_pkg lec5  # 尽量选择小写，符合功能包命名标准

搬运源代码

将源代码中的三个小功能包搬过来，最后的结构如下：

修改主文件夹的CMakeLists.cpp

为了适配ROS环境（主要是加了一个catkin的包），对ROS自动生成的 CMakeLists.txt稍加修改：

shell 复制代码 
## Compile as C++11, supported in ROS Kinetic and newer
add_compile_options(-std=c++11)

# 其他地方不做修改
# ....
# ....
# ....
# ....
# 在最后面加上源代码在主功能包下的配置信息：

# Eigen
include_directories("/usr/include/eigen3")

# 寻找OpenCV库
find_package(OpenCV REQUIRED)
# 添加头文件
include_directories(${OpenCV_INCLUDE_DIRS})

add_subdirectory(imageBasics)
# add_subdirectory(stereo)
# add_subdirectory(rgbd)

修改undistortImage.cpp中读取图片的格式，使其和imageBasics.cpp一致

cpp 复制代码 
cv::Mat image = cv::imread(argv[1]);   // 图像是灰度图，CV_8UC1
// 判断图像文件是否正确读取
if (image.data == nullptr) { //数据不存在,可能是文件不存在
  cerr << "文件" << argv[1] << "不存在." << endl;
  return 0;
}

编译后运行

shell 复制代码 
cd ~/Slam_ws
catkin_make
source devel/setup.bash

运行

【要在虚拟机运行，SSH远程连接无法直接在Windows端显示虚拟机中的新窗口】

shell 复制代码 
rosrun lec5 imageBasics ~/Slam_ws/src/lec5/imageBasics/ubuntu.png
rosrun lec5 undistortImage ~/Slam_ws/src/lec5/imageBasics/ubuntu.png

任务二：双目匹配点云（Ubuntu配置pangolin）

配置pangolin

参考Ubuntu20.04 ------ 新系统从头安装ORB-SLAM3过程（2022年）

大哥的这个文档里说Pangolin只有v0.6能用，事实上最新版也能用

如果在cmake时，遇到以下错误：

是因为没有pybind11

事实上笔者只遇到了这一个问题，但是这个问题在网上没找到合适的解决方法

其实主要原因一句话就说明白了：库里的pybind是空的，需要另外下载后导入

可以看我的这篇博客Ubuntu20下载Pangolin

检验是否配置成功

检验部分我认为可以加深对CMake的理解

  • 进入Pangolin/examples/HelloPangolin/

  • 进行编译

    shell 复制代码 
    # 进入examples/HelloPangolin/目录下
mkdir build && cd build
cmake ..
make

  • 运行

    shell 复制代码 
    ./HelloPangolin

  • 运行结果

    可以看到，在v0.6和最新版都能运行起来

修改主文件夹的CMakeLists.cpp

把任务一中注释掉的

shell 复制代码 
# add_subdirectory(stereo)

解注释即可

编译后运行

shell 复制代码 
cd ~/Slam_ws
catkin_make
source devel/setup.bash

运行

【要进入stereo文件夹下，不然读不到图片】

shell 复制代码 
cd ~/Slam_ws/src/lec5/stereo/
rosrun lec5 imageBasics ~/Slam_ws/src/lec5/imageBasics/ubuntu.png

任务三：rgbd匹配点云（Ubuntu配置Sophus&fmt）

配置sophus

本篇使用的方法是配置模板类 【就是在/usr/local/include/sophus】，若要配置非模板类 【就是在/usr/local/lib/libSophus.so】，可以参考
ubuntu下安装Sophus库出现问题及解决办法【原作者漏了最后的make install】

参考ubuntu20.04 安装 Sophus库 slambook2

下文的CMakeLists.txt也是搬运自该文章

检验是否配置成功

查看/usr/local/include下是否已经有sophus文件夹

修改rgbd的CMakeLists.txt

完成配置后，仍不可直接catkin_make，需要修改CMakeLists.txt
全部替换为：

shell 复制代码 
cmake_minimum_required( VERSION 2.8 )
project(rgbd)

##  使用模板类sophus
# set(Sophus_DIR "/usr/local/sophus-template/share/sophus/")
#或 
set(Sophus_INCLUDE_DIRS "/usr/local/sophus-template/include")
##set(Sophus_LIBS )

# 为使用 sophus,需要使用find_package命令找到它
find_package(Sophus REQUIRED)

find_package(Pangolin REQUIRED)
find_package(OpenCV REQUIRED)

include_directories(
	${Sophus_INCLUDE_DIRS}
	${OpenCV-INCLUDE_DIRS}
)
include_directories("/usr/local/include/eigen3")

add_executable(joinMap joinMap.cpp)
target_link_libraries(joinMap ${OpenCV_LIBS})
target_link_libraries(joinMap ${Pangolin_LIBRARIES})
target_link_libraries(joinMap ${Sophus_LIBS} fmt)

其作用是添加了eigon和fmt依赖。

修改主文件夹的CMakeLists.cpp

把任务一中注释掉的

shell 复制代码 
# add_subdirectory(rgbd)

解注释即可

编译与运行

shell 复制代码 
cd ~/Slam_ws
catkin_make
source devel/setup.bash

运行

【要进入rgbd文件夹下，不然读不到位置文件】

shell 复制代码 
cd ~/Slam_ws/src/lec5/rgbd/
rosrun lec5 joinMap

第七讲：视觉惯性里程计

课程笔记

特征点 由关键点 和描述子 两部分组成。

关键点是特征点在图像的位置和特征信息如朝向等

描述子通常是一个向量，描述了关键点周围像素的信息；常用来判断两个特征是否相似

ORB特征

ORB特征由关键点和描述子构成

FAST关键点

像素点和周围一圈n个像素的差异【至少有k（k<n）个点比该点大/小一个阈值】

BRIEF描述子

随机取【或者按照某个图案】取特征点附近图像上的两个点，进行比较

特征匹配

针对两张图的特征点的匹配

匹配方法包括暴力匹配 和筛选后的匹配【如特征点间的最大距离等等】

2D-2D：对极几何

特征匹配之后，得到了特征点之间的对应关系

  • 如果只有两个单目图像，得到2D-2D间的关系------对极几何
  • 如果匹配的是帧和地图，得到3D-2D间的关系------PnP
  • 如果匹配的是RGB-D图，得到3D-3D间的关系------ICP

跑ORB-SLAM3

这部分基本上参考了【ORB_SLAM】Ubuntu20.04 配置ORB_SLAM3）

下载小六注释过的ORB_SLAM3代码

本文把源码放到了桌面

shell 复制代码 
cd ~/Desktop
git clone https://github.com/electech6/ORB_SLAM3_detailed_comments.git

配置boost

按照Ubuntu20.04 ------ 新系统从头安装ORB-SLAM3过程（2022年）这里的配置走就好

安装ORB_SLAM3时遇到的问题

基本上没什么问题，但是：

  1. build.sh脚本文件报错了，是我自己手动执行的
  2. build.sh中，在最后编译整个包时【即倒数第二行（cmake .. -DCMAKE_BUILD_TYPE=Release）】，先后遇到了opencv要求版本4.4+ 、缺少realsense2的问题【后来发现好像只用保证DBOW2和ROS和源码的cv库版本一样即可】

配置opencv4

最后的cmake遇到以下要求

在编译ORB_SLAM3
Ubuntu20安装OpenCV3（图解亲测）

如果前面已经配置过opencv3，那么opencv4按照这个博主的方法，执行到sudo make install即可。

可以通过下列指令进行验证

shell 复制代码 
pkg-config --modversion opencv4

配置realsense2

解决opencv4的问题后，发现还缺依赖realsense2

需要下载：

shell 复制代码 
sudo apt-get install ros-noetic-realsense2-camera  # Ubuntu20对应这个版本

至此，cmake .. -DCMAKE_BUILD_TYPE=Release顺利通过

make过程中遇到"fatal error ... terminated program cc1plus"

原因是内存不够，可以通过以下指令查看内存

shell 复制代码 
free -m

参考文章：C++: fatal error: Killed signal terminated program cc1plus的问题解决
尝试增加swap区

有一个小技巧，在make时遇到许多Warning，非常碍眼，可以这样：

shell 复制代码 
make -j4 2>&1 | grep -iE 'error|%'  # 仅输出报错和百分号（进度）

按照原博主的方法，会说"打开'/swapfile' 失败: 文本文件忙 "

因此稍加修改：

shell 复制代码 
sudo swapoff /swapfile 
# 关掉交换文件
sudo dd if=/dev/zero of=/swapfile bs=512M count=10
# count的大小就是增加的swap空间的大小，bs是块大小为512M，所以空间大小是bs*count=5G
sudo mkswap /swapfile
# 把刚才空间格式化成swap格式
sudo chmod 0600 /swapfile  
# 更改交换文件的权限为只有root用户可读写
sudo swapon /swapfile
# 使用刚才创建的swap空间

完成后，可以通过以下命令释放内存：

shell 复制代码 
sudo swapoff /swapfile

哥们内存是真不够，，，为了整这个ORB_SLAM，前前后后已经扩了15G了

数据集测试

1.数据集下载

下载地址：
The EuRoC MAV Dataset下载ASL格式

解压到某个地方【可以不在ORB文件夹下】

2.解压Vocabulary

进入ORB的Vocabulary/目录下，解压语义库

shell 复制代码 
tar -xzvf ORBvoc.txt.tar.gz

3A.按照格式执行mono_euroc【不用ROS，但是遇到了报错】

参考主目录或者Examples/目录下的euroc_examples.sh文件；找到与数据集对应的指令，修改为匹配的路径

如【该指令仅供参考，路径因人而异】

shell 复制代码 
cd ~/Desktop/ORB_SLAM3_detailed_comments/
./Examples/Monocular/mono_euroc ./Vocabulary/ORBvoc.txt ./Examples/Monocular/EuRoC.yaml ./datasets/MH05 ./Examples/Monocular/EuRoC_TimeStamps/MH05.txt

遇到报错如下：

原因是储存文件名信息的.txt文件换行格式有误

3B.ROS在bashrc中添加ORB_SLAM路径【用ROS】

shell 复制代码 
vim ~/.bashrc

然后在文档末尾输入：【路径要修改】

shell 复制代码 
export ROS_PACKAGE_PATH="$ROS_PACKAGE_PATH:/home/szw【注意这里要修改】/Desktop/ORB_SLAM3_detailed_comments/Examples/ROS/ORB_SLAM3"
# vim 操作方法： 输入 按i
#              结束先按Esc ，再按 :wq

最后source一下环境

shell 复制代码 
source ~/.bashrc

4A. 打开可视化界面

修改Examples/Monocular/mono_euroc.cc的第83行，将false改成true

回到主页面，重新编译

shell 复制代码 
cd ORB_SLAM3_detailed_comments/build
cmake ..
make -j

4B. 编译ROS文件【有报错】

shell 复制代码 
cd ORB_SLAM3_detailed_comments/Examples/ROS/ORB_SLAM3
mkdir build
cd build
cmake ..
make -j

cmake ..如果遇到问题，大概率是上面的ROS_PACKAGE_PATH配错了

报错：qtmd，爱咋咋地吧

5B. 运行

shell 复制代码 
# 运行代码之前记得source一下
cd orb_slam3/ORB_SLAM3_detailed_comments/Examples/ROS/ORB_SLAM3/build
source devel/setup.bash
shell 复制代码 
# 终端1
roscore
# 终端2
rosrun ORB_SLAM3 Mono_Inertial /home/robot/orb_slam3/ORB_SLAM3_detailed_comments/Vocabulary/ORBvoc.txt /home/robot/orb_slam3/ORB_SLAM3_detailed_comments/Examples/Monocular-Inertial/EuRoC.yaml
相关推荐
我要吐泡泡了哦28 分钟前
GAMES104：15 游戏引擎的玩法系统基础-学习笔记
笔记·学习·游戏引擎
骑鱼过海的猫12328 分钟前
【tomcat】tomcat学习笔记
笔记·学习·tomcat
小安运维日记30 分钟前
Linux云计算 |【第四阶段】NOSQL-DAY1
linux·运维·redis·sql·云计算·nosql
waterHBO37 分钟前
python 爬虫 selenium 笔记
爬虫·python·selenium
编程零零七2 小时前
Python数据分析工具(三)：pymssql的用法
开发语言·前端·数据库·python·oracle·数据分析·pymssql
贾saisai3 小时前
Xilinx系FPGA学习笔记（九）DDR3学习
笔记·学习·fpga开发
北岛寒沫3 小时前
JavaScript（JS）学习笔记 1（简单介绍 注释和输入输出语句 变量 数据类型 运算符 流程控制 数组）
javascript·笔记·学习
烟雨666_java3 小时前
JDBC笔记
笔记
GEEKVIP3 小时前
Android 恢复挑战和解决方案：如何从 Android 设备恢复删除的文件
android·笔记·安全·macos·智能手机·电脑·笔记本电脑
CoolTiger、4 小时前
【Vmware16安装教程】
linux·虚拟机·vmware16
热门推荐
01RAG 实践- Ollama+RagFlow 部署本地知识库02组基轨迹建模 GBTM的介绍与实现（Stata 或 R）032024年高教社杯数学建模国赛C题超详细解题思路分析04Coze扣子平台完整体验和实践（附国内和国际版对比）05苍穹外卖面试总结06【2024数模国赛赛题思路公开】国赛B题思路丨附可运行代码丨无偿自提07yolov8实战第五天——yolov8+ffmpg实时视频流检测并进行实时推流——（推流，保姆教学）08CCF-CSP认证考试 202406-3 文本分词 100分题解09【2024高教社杯全国大学生数学建模竞赛】B题 生产过程中的决策问题——解题思路 代码 论文10浏览器插件——ModHeader 的分享和学习