使用postshot实现了更好的3D高斯泼溅效果

前文已经跑通了使用全景相机进行3D高斯泼溅的流程。

但效果不是特别理想,主要原因有以下两点:

  • 拍摄场景时,光线不足,导致镜头成像效果欠佳
  • 计算完colmap后,对于对齐结果没有做验证,可能存在错误的匹配对

因此,本文尝试采用 RealityScan 和 postshot 两款软件,来进行新的尝试。

整体效果有了明显的提升,效果见以下视频:

3DGS演示

拍摄和准备工作

拍摄方式和前文类似,选择一个阳光充足的中午,在教学楼前面采用走了一圈"回"字型,拍摄5.7k 30fps规格的全景视频,共录制约四分钟。

在 insta360 studio 中,进行后期编辑,略微上调清晰度,导出视频。

视频使用 ffmpeg 按 2 帧进行裁切,用 mashroom 转换得到 3k 多张 1200 x 1200 分辨率的图像。

RealityScan效果

RealityScan 是 Epic 开发的三维重建软件,前身(2.0版本前)叫 RealityCapture。

要下载该软件,需要先下载 epicgames 的启动器,然后在启动器中下载安装。

在 RealityScan 中,把 3k 多张图片放进去,花费1小时25分钟进行了对齐(align)。

对齐完,只有1k多张有效图片,模拟的路径(下图中白色部分)和实际有些偏差,少了一段路径。

放大看每一个点,由八张图片构成,每一个点都是全景帧,然后被裁切成8个方向。

RealityScan 本身支持用传统mesh+纹理的方式进行三维建模。

于是以中等质量(normal)方式进行建模,并计算贴图,结果如下图所示。

建模效果惨不忍睹,建筑边缘存在严重扭曲,表明细节完全丢失。

postshot

postshot[2] 是 Jawset 公司开发的软件,专用于制作3D高斯的场景重建。

它的使用方式很简单,直接把图片拖进去就可以开始处理了。

处理时,GPU 的利用率直接拉满了。

几个小时后,它准确的把我行径路径完美还原了。

它总共分四个处理步骤,前面一直在做图像计算,点云提取等步骤,到第四步才开始进行高斯训练。

默认的步数是 9w 步。

整个流程速度很慢,跑了2天才呈现最终结果。

RealityScan 和 postshot 联动方式

postshot 在计算colmap的速度很慢,而 RealityScan 速度很快。

为了提升整体的运行速度,可以将 RealityScan 计算结果导出,然后让 postshot 直接读取。

参考postshot的文档[3],可以吧 RealityScan 计算的相机姿态和点云结果放到图像相同的文件夹,就可以直接被读取。

局限性

虽然 postshot 的效果还不错,但它没法免费把生成结果导出,需要充会员才行,价格非常贵。

其次,使用全景相机的方案也有一定弱点,由于全景相机拍摄位置较高,底部的一些信息会细节丢失,造成局部重影。

此外,全景相机虽然录制分辨率很高,但实际的画面表现不如手机。

后面计划试试其它拍摄和开源3DGS的方案。

参考

1\] https://www.epicgames.com \[2\] https://www.jawset.com \[3\] https://www.jawset.com/docs/d/Postshot+User+Guide/Importing+Images

相关推荐
动恰客流管家10 小时前
动恰3DV3丨客流统计系统:旺季人手不够淡季闲人太多?客流统计帮你科学优化人力成本
大数据·运维·人工智能·3d
接着奏乐接着舞12 小时前
3D Tiles tileset.jso 数据格式
运维·服务器·3d
神探小白牙14 小时前
echarts,3d堆叠图
android·3d·echarts
zhangrelay14 小时前
三分钟云课实践速通--工程制图基础-3D--FreeCAD
笔记·学习·3d
qq_3874595814 小时前
浩辰CAD看图王轻松绘制CAD局部放大图
图像处理·3d·cad·cad看图·cad看图软件·cad看图王·浩辰cad看图王
三维频道15 小时前
3C电子制造破局:高精度蓝光3D扫描仪在形位公差分析中的应用
3d·制造·3c电子制造·新拓三维·xtom·形位公差分析·蓝光3d扫描仪
AI前沿资讯1 天前
支持视频动作迁移的AI 3D平台有哪些?2026全维度测评
人工智能·3d
CG_MAGIC1 天前
幕后花絮:用Blender打造自己的建筑
3d·blender·贴图·uv·建模教程·渲云渲染
scott1985122 天前
3DGUT与3DGRT
3d
三维频道2 天前
压铸件尺寸检测与模具监测方案 / 3D Scanning for Die-casting QC & Mold Monitoring
人工智能·计算机视觉·3d·尺寸检测·xtom·压铸件·模具优化