使用postshot实现了更好的3D高斯泼溅效果

前文已经跑通了使用全景相机进行3D高斯泼溅的流程。

但效果不是特别理想，主要原因有以下两点：

因此，本文尝试采用 RealityScan 和 postshot 两款软件，来进行新的尝试。

整体效果有了明显的提升，效果见以下视频：

3DGS演示

拍摄和准备工作

拍摄方式和前文类似，选择一个阳光充足的中午，在教学楼前面采用走了一圈"回"字型，拍摄5.7k 30fps规格的全景视频，共录制约四分钟。

在 insta360 studio 中，进行后期编辑，略微上调清晰度，导出视频。

视频使用 ffmpeg 按 2 帧进行裁切，用 mashroom 转换得到 3k 多张 1200 x 1200 分辨率的图像。

RealityScan 是 Epic 开发的三维重建软件，前身(2.0版本前)叫 RealityCapture。

要下载该软件，需要先下载 epicgames 的启动器，然后在启动器中下载安装。

在 RealityScan 中，把 3k 多张图片放进去，花费1小时25分钟进行了对齐(align)。

对齐完，只有1k多张有效图片，模拟的路径(下图中白色部分)和实际有些偏差，少了一段路径。

放大看每一个点，由八张图片构成，每一个点都是全景帧，然后被裁切成8个方向。

RealityScan 本身支持用传统mesh+纹理的方式进行三维建模。

于是以中等质量(normal)方式进行建模，并计算贴图，结果如下图所示。

建模效果惨不忍睹，建筑边缘存在严重扭曲，表明细节完全丢失。

postshot $2$ 是 Jawset 公司开发的软件，专用于制作3D高斯的场景重建。

它的使用方式很简单，直接把图片拖进去就可以开始处理了。

处理时，GPU 的利用率直接拉满了。

几个小时后，它准确的把我行径路径完美还原了。

它总共分四个处理步骤，前面一直在做图像计算，点云提取等步骤，到第四步才开始进行高斯训练。

默认的步数是 9w 步。

整个流程速度很慢，跑了2天才呈现最终结果。

postshot 在计算colmap的速度很慢，而 RealityScan 速度很快。

为了提升整体的运行速度，可以将 RealityScan 计算结果导出，然后让 postshot 直接读取。

参考postshot的文档 $3$ ，可以吧 RealityScan 计算的相机姿态和点云结果放到图像相同的文件夹，就可以直接被读取。

虽然 postshot 的效果还不错，但它没法免费把生成结果导出，需要充会员才行，价格非常贵。

其次，使用全景相机的方案也有一定弱点，由于全景相机拍摄位置较高，底部的一些信息会细节丢失，造成局部重影。

此外，全景相机虽然录制分辨率很高，但实际的画面表现不如手机。

后面计划试试其它拍摄和开源3DGS的方案。