使用postshot实现了更好的3D高斯泼溅效果

前文已经跑通了使用全景相机进行3D高斯泼溅的流程。

但效果不是特别理想,主要原因有以下两点:

  • 拍摄场景时,光线不足,导致镜头成像效果欠佳
  • 计算完colmap后,对于对齐结果没有做验证,可能存在错误的匹配对

因此,本文尝试采用 RealityScan 和 postshot 两款软件,来进行新的尝试。

整体效果有了明显的提升,效果见以下视频:

3DGS演示

拍摄和准备工作

拍摄方式和前文类似,选择一个阳光充足的中午,在教学楼前面采用走了一圈"回"字型,拍摄5.7k 30fps规格的全景视频,共录制约四分钟。

在 insta360 studio 中,进行后期编辑,略微上调清晰度,导出视频。

视频使用 ffmpeg 按 2 帧进行裁切,用 mashroom 转换得到 3k 多张 1200 x 1200 分辨率的图像。

RealityScan效果

RealityScan 是 Epic 开发的三维重建软件,前身(2.0版本前)叫 RealityCapture。

要下载该软件,需要先下载 epicgames 的启动器,然后在启动器中下载安装。

在 RealityScan 中,把 3k 多张图片放进去,花费1小时25分钟进行了对齐(align)。

对齐完,只有1k多张有效图片,模拟的路径(下图中白色部分)和实际有些偏差,少了一段路径。

放大看每一个点,由八张图片构成,每一个点都是全景帧,然后被裁切成8个方向。

RealityScan 本身支持用传统mesh+纹理的方式进行三维建模。

于是以中等质量(normal)方式进行建模,并计算贴图,结果如下图所示。

建模效果惨不忍睹,建筑边缘存在严重扭曲,表明细节完全丢失。

postshot

postshot[2] 是 Jawset 公司开发的软件,专用于制作3D高斯的场景重建。

它的使用方式很简单,直接把图片拖进去就可以开始处理了。

处理时,GPU 的利用率直接拉满了。

几个小时后,它准确的把我行径路径完美还原了。

它总共分四个处理步骤,前面一直在做图像计算,点云提取等步骤,到第四步才开始进行高斯训练。

默认的步数是 9w 步。

整个流程速度很慢,跑了2天才呈现最终结果。

RealityScan 和 postshot 联动方式

postshot 在计算colmap的速度很慢,而 RealityScan 速度很快。

为了提升整体的运行速度,可以将 RealityScan 计算结果导出,然后让 postshot 直接读取。

参考postshot的文档[3],可以吧 RealityScan 计算的相机姿态和点云结果放到图像相同的文件夹,就可以直接被读取。

局限性

虽然 postshot 的效果还不错,但它没法免费把生成结果导出,需要充会员才行,价格非常贵。

其次,使用全景相机的方案也有一定弱点,由于全景相机拍摄位置较高,底部的一些信息会细节丢失,造成局部重影。

此外,全景相机虽然录制分辨率很高,但实际的画面表现不如手机。

后面计划试试其它拍摄和开源3DGS的方案。

参考

1\] https://www.epicgames.com \[2\] https://www.jawset.com \[3\] https://www.jawset.com/docs/d/Postshot+User+Guide/Importing+Images

相关推荐
Elaine3362 天前
Gemini生成的3D交互圣诞树(娱乐版)
3d·交互·three.js·前端可视化
时光Autistic2 天前
【搭建教程】腾讯混元3D模型部署
开发语言·python·3d·github
世界唯一最大变量2 天前
实现了类似光线追踪的效果,用之前的车辆算法,自创的3d渲染算法,100物体时跑到了240帧
3d·html
一个没有感情的程序猿2 天前
前端实现交互式3D人体肌肉解剖图:基于 Three.js + React Three Fiber 的完整方案
前端·javascript·3d
苏州知芯传感2 天前
柔性抓取的“慧眼”:MEMS 3D视觉如何让机器人精准识别无序堆叠的复杂钣金件?
算法·3d·机器人·mems
数智前线2 天前
火山引擎智能3D视频启动商业化,计划落地直播应用
3d·音视频·火山引擎
Cv打怪升级2 天前
3D-Front数据集 json说明
3d·json
Y_3_73 天前
3D 圣诞树网页代码
3d
春日见3 天前
眼在手上外参标定保姆级教学(vscode + opencv)
linux·运维·服务器·数码相机·opencv·ubuntu·3d
一晌小贪欢3 天前
【圣诞快乐 Merry Christmas】 3D 粒子变形圣诞体验
3d·html·h5·html5·圣诞网页·粒子虚幻·虚幻粒子页面