使用postshot实现了更好的3D高斯泼溅效果

前文已经跑通了使用全景相机进行3D高斯泼溅的流程。

但效果不是特别理想,主要原因有以下两点:

  • 拍摄场景时,光线不足,导致镜头成像效果欠佳
  • 计算完colmap后,对于对齐结果没有做验证,可能存在错误的匹配对

因此,本文尝试采用 RealityScan 和 postshot 两款软件,来进行新的尝试。

整体效果有了明显的提升,效果见以下视频:

3DGS演示

拍摄和准备工作

拍摄方式和前文类似,选择一个阳光充足的中午,在教学楼前面采用走了一圈"回"字型,拍摄5.7k 30fps规格的全景视频,共录制约四分钟。

在 insta360 studio 中,进行后期编辑,略微上调清晰度,导出视频。

视频使用 ffmpeg 按 2 帧进行裁切,用 mashroom 转换得到 3k 多张 1200 x 1200 分辨率的图像。

RealityScan效果

RealityScan 是 Epic 开发的三维重建软件,前身(2.0版本前)叫 RealityCapture。

要下载该软件,需要先下载 epicgames 的启动器,然后在启动器中下载安装。

在 RealityScan 中,把 3k 多张图片放进去,花费1小时25分钟进行了对齐(align)。

对齐完,只有1k多张有效图片,模拟的路径(下图中白色部分)和实际有些偏差,少了一段路径。

放大看每一个点,由八张图片构成,每一个点都是全景帧,然后被裁切成8个方向。

RealityScan 本身支持用传统mesh+纹理的方式进行三维建模。

于是以中等质量(normal)方式进行建模,并计算贴图,结果如下图所示。

建模效果惨不忍睹,建筑边缘存在严重扭曲,表明细节完全丢失。

postshot

postshot[2] 是 Jawset 公司开发的软件,专用于制作3D高斯的场景重建。

它的使用方式很简单,直接把图片拖进去就可以开始处理了。

处理时,GPU 的利用率直接拉满了。

几个小时后,它准确的把我行径路径完美还原了。

它总共分四个处理步骤,前面一直在做图像计算,点云提取等步骤,到第四步才开始进行高斯训练。

默认的步数是 9w 步。

整个流程速度很慢,跑了2天才呈现最终结果。

RealityScan 和 postshot 联动方式

postshot 在计算colmap的速度很慢,而 RealityScan 速度很快。

为了提升整体的运行速度,可以将 RealityScan 计算结果导出,然后让 postshot 直接读取。

参考postshot的文档[3],可以吧 RealityScan 计算的相机姿态和点云结果放到图像相同的文件夹,就可以直接被读取。

局限性

虽然 postshot 的效果还不错,但它没法免费把生成结果导出,需要充会员才行,价格非常贵。

其次,使用全景相机的方案也有一定弱点,由于全景相机拍摄位置较高,底部的一些信息会细节丢失,造成局部重影。

此外,全景相机虽然录制分辨率很高,但实际的画面表现不如手机。

后面计划试试其它拍摄和开源3DGS的方案。

参考

1\] https://www.epicgames.com \[2\] https://www.jawset.com \[3\] https://www.jawset.com/docs/d/Postshot+User+Guide/Importing+Images

相关推荐
玖釉-16 小时前
Vulkan 3D Gaussian Splatting 本地部署与运行:从 PLY 模型到实时渲染
3d
kobesdu17 小时前
当算法跑不通时:3D激光SLAM工程实践中的隐藏陷阱与全链路排查
算法·3d
AI视觉网奇17 小时前
b3dkit 生成连接器
3d
吃好睡好便好18 小时前
在Matlab中绘制饼状图
开发语言·学习·matlab·3d·信息可视化
koharu12318 小时前
PointRCNN 精解:从原始点云到三维框的两阶段检测
人工智能·深度学习·目标检测·3d·三维点云
似水流年wxk19 小时前
cocos3D物体线性溶解消失效果
3d
2401_863801461 天前
OBJ、FBX 与 GLTF 选择用于设计导入的最佳 3D 模型格式:实用的比较可帮助设计人员选择正确的 3D 格式,同时保持几何形状、纹理和性能不变。
3d
IT观测1 天前
从设备到课堂:3D打印教育迈入新阶段
3d
threelab2 天前
Three.js 3D 热力图效果 | 三维可视化 / AI 提示词
开发语言·前端·javascript·人工智能·3d·着色器
yeflx2 天前
Colmap增加轨迹过滤等参数
3d