前文已经跑通了使用全景相机进行3D高斯泼溅的流程。
但效果不是特别理想,主要原因有以下两点:
- 拍摄场景时,光线不足,导致镜头成像效果欠佳
- 计算完colmap后,对于对齐结果没有做验证,可能存在错误的匹配对
因此,本文尝试采用 RealityScan 和 postshot 两款软件,来进行新的尝试。
整体效果有了明显的提升,效果见以下视频:
3DGS演示
拍摄和准备工作
拍摄方式和前文类似,选择一个阳光充足的中午,在教学楼前面采用走了一圈"回"字型,拍摄5.7k 30fps规格的全景视频,共录制约四分钟。
在 insta360 studio 中,进行后期编辑,略微上调清晰度,导出视频。

视频使用 ffmpeg 按 2 帧进行裁切,用 mashroom 转换得到 3k 多张 1200 x 1200 分辨率的图像。
RealityScan效果
RealityScan 是 Epic 开发的三维重建软件,前身(2.0版本前)叫 RealityCapture。
要下载该软件,需要先下载 epicgames 的启动器,然后在启动器中下载安装。

在 RealityScan 中,把 3k 多张图片放进去,花费1小时25分钟进行了对齐(align)。
对齐完,只有1k多张有效图片,模拟的路径(下图中白色部分)和实际有些偏差,少了一段路径。

放大看每一个点,由八张图片构成,每一个点都是全景帧,然后被裁切成8个方向。

RealityScan 本身支持用传统mesh+纹理的方式进行三维建模。
于是以中等质量(normal)方式进行建模,并计算贴图,结果如下图所示。

建模效果惨不忍睹,建筑边缘存在严重扭曲,表明细节完全丢失。
postshot
postshot[2] 是 Jawset 公司开发的软件,专用于制作3D高斯的场景重建。
它的使用方式很简单,直接把图片拖进去就可以开始处理了。
处理时,GPU 的利用率直接拉满了。

几个小时后,它准确的把我行径路径完美还原了。

它总共分四个处理步骤,前面一直在做图像计算,点云提取等步骤,到第四步才开始进行高斯训练。
默认的步数是 9w 步。

整个流程速度很慢,跑了2天才呈现最终结果。

RealityScan 和 postshot 联动方式
postshot 在计算colmap的速度很慢,而 RealityScan 速度很快。
为了提升整体的运行速度,可以将 RealityScan 计算结果导出,然后让 postshot 直接读取。
参考postshot的文档[3],可以吧 RealityScan 计算的相机姿态和点云结果放到图像相同的文件夹,就可以直接被读取。

局限性
虽然 postshot 的效果还不错,但它没法免费把生成结果导出,需要充会员才行,价格非常贵。

其次,使用全景相机的方案也有一定弱点,由于全景相机拍摄位置较高,底部的一些信息会细节丢失,造成局部重影。


此外,全景相机虽然录制分辨率很高,但实际的画面表现不如手机。
后面计划试试其它拍摄和开源3DGS的方案。
参考
1\] https://www.epicgames.com \[2\] https://www.jawset.com \[3\] https://www.jawset.com/docs/d/Postshot+User+Guide/Importing+Images