从零开始跑通3DGS教程:(二)SFM(colmap)计算初始点云和相机pose

写在前面

目录

系列文章

docker

安装docker

docker常用命令docker安装 部分

可以使用以下命令,避免每次使用docker都需要sudo和密码

bash 复制代码
sudo usermod -aG docker $USER
sudo service docker restart
sudo chmod 666 /var/run/docker.sock

安装nvidia-docker依赖
Installing the NVIDIA Container Toolkit

bash 复制代码
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

colmap docker

关于colmap

colmap是一个SFM(Structure From Motion)+MVS(Multi VIew Stereo)的开源框架,SFM用于从不同视角采集的多张图像中,恢复相机pose以及场景结构(稀疏点云),MVS用于对场景进行稠密重建(稠密点云)以及表面重建(Mesh)

其官方github为
https://github.com/colmap/colmap

官方文档
https://colmap.github.io/index.html

docker

这里使用现成的colmap docker镜像,如果熟悉环境配置、编译或者本地已有colmap的可以不用

pull docker:https://hub.docker.com/r/colmap/colmap/tags

这里选择colmap:20240219.29版本

bash 复制代码
docker pull colmap/colmap:20240219.29

创建新的容器,请修改你的宿主机路径"YOUR_PATH"

复制代码
# docker pull colmap/colmap:20240219.29
xhost +
docker run \
    --name=colmap \
    -e DISPLAY=$DISPLAY \
    -w /working \
    -v YOUR_PATH/3dgs_tutorial:/working/3dgs_tutorial \
    -v /tmp/.X11-unix:/tmp/.X11-unix \
    --gpus all \
    --privileged \
    -it colmap/colmap:20240219.29 /bin/bash

创建成功如下

可以先输入exit退出

计算

本文相关:

3DGS需要的输入是相机pose,内参,以及场景的稀疏点云,因此我们将只会使用SFM相关的计算;

colmap提供图形化交互界面,以及命令行的方式,来完成SFM的计算

gui

进入图形化界面

启动容器

bash 复制代码
docker start colmap

进入容器,开启图形化界面

bash 复制代码
docker exec -it colmap /bin/bash
colmap gui

可能会遇到界面是黑色的,ctrl+c多试几次就行

正常进入如图

使用

  • 新建project

    File--->New project--->New

    选择之前放好的数据路径,输入database, 保存

    然后选择图像路径为之前放好的images

    然后点击save

  • 特征提取

    Processing--->Feature extraction

    处理完成会显示时间

特征匹配

Processing--->Feature matching

如果是无序图像,使用Exhaustive

如果是视频提取的有序图像,使用Sequential

这里truck数据是有序的数据,我们使用Sequential,点击run,等待处理完成

  • SFM重建
    Reconstruction--->start reconstruction
    等待计算完成
  • 导出
bash 复制代码
cd 3dgs_tutorial/pro/truck
mkdir sparse

File--->export model

导出点云

File--->export model as

命令行

启动容器

bash 复制代码
docker start colmap

进入容器

bash 复制代码
docker exec -it colmap /bin/bash

计算

bash 复制代码
cd 3dgs_tutorial/pro
cp sfm.sh truck/
cd truck
sh sfm.sh

其中,sfm.sh为以下脚本,如果是无序图像,请使用colmap exhaustive_matcher

bash 复制代码
DATASET_PATH=$(pwd)
echo "processing: $DATASET_PATH"

colmap feature_extractor --database_path \
$DATASET_PATH/database.db --image_path $DATASET_PATH/images \
--ImageReader.camera_model=PINHOLE

# colmap exhaustive_matcher \
#    --database_path $DATASET_PATH/database.db
colmap sequential_matcher \
   --database_path $DATASET_PATH/database.db
   
mkdir $DATASET_PATH/sparse

colmap mapper \
    --database_path $DATASET_PATH/database.db \
    --image_path $DATASET_PATH/images \
    --output_path $DATASET_PATH/sparse

colmap model_converter \
--input_path $DATASET_PATH/sparse/0 \
--output_path $DATASET_PATH/sparse/0/points3D.ply \
--output_type PLY

权限

因为docker是root权限,生成的文件也就是,需要回到宿主机,修改权限

复制代码
cd YOUR_PATH/3dgs_tutorial/scripts
sh chown.sh

可视化

将生成好的sparse/0/point3D.ply放进Cloudcompare可视化

编辑

下一步将进行坐标系编辑和尺度修正:
从零开始跑通3DGS教程:(三)坐标系与尺度编辑(CloudCompare)

如果不关心坐标系和尺度,可以直接进行3dgs训练:
从零开始跑通3DGS教程:(四)3DGS训练

参考

文中已列出

主要做激光/影像三维重建,3DGS,配准、分割等常用点云算法,熟悉open3d、pcl等开源点云库,技术交流、咨询可私信

相关推荐
寻丶幽风2 天前
论文阅读笔记——ReconDreamer
论文阅读·笔记·自动驾驶·3dgs·世界模型·闭环仿真
诺有缸的高飞鸟2 天前
从零开始跑通3DGS教程:介绍
colmap·3dgs·sfm
诺有缸的高飞鸟4 天前
从零开始跑通3DGS教程:(一)数据(采集)
colmap·3dgs·sfm
寻丶幽风4 天前
论文阅读笔记——ST-4DGS,WideRange4D
论文阅读·人工智能·笔记·深度学习·3dgs·4dgs
杀生丸学AI1 个月前
【三维生成】StarGen:基于视频扩散模型的可扩展的时空自回归场景生成
机器学习·aigc·三维重建·3dgs·稀疏重建·深度补全·自回归模型
杀生丸学AI2 个月前
【三维分割】Gaga:通过3D感知的 Memory Bank 分组任意高斯
aigc·三维重建·nerf·视觉大模型·3dgs·三维高斯溅射·分割一切sam
点云SLAM2 个月前
CVPR 2024 图像、视频处理总汇(视频字幕、图像超分辨率、图像分类和压缩等)
图像处理·深度学习·计算机视觉·视频处理·3dgs·cvpr2024
paixiaoxin2 个月前
解读CVPR2024-3DGS论文分享|DNGaussian: Optimizing Sparse-View 3D Gaussian Radiance Fields with .....
人工智能·深度学习·算法·机器学习·3d·cvpr·3dgs
Struart_R3 个月前
StyleGaussian: Instant 3D Style Transferwith Gaussian Splatting 论文解读
人工智能·计算机视觉·3d·风格迁移·扩散模型·视频生成·3dgs