3DGS学习(四)—— 快速高斯光栅化

快速高斯光栅化

参考文章:https://zhuanlan.zhihu.com/p/678877999

原论文:EWA Splatting

确定视锥体

确定相机位姿进一步确定视锥体,有利于剔除视锥体以外的部分,防止出现浪费的计算。

3D -> 2D (splatting)

  • 该过程将3D空间内的3D椭球投影到2D空间中进行渲染,该过程主要对表示椭球的协方差矩阵乘上变换矩阵加以实现。类比到现实生活中,就好像将雪球用力掷向墙壁,啪的一声绽开,在墙上留下了一个中心密集,向四周逐渐变浅变稀疏的雪块。

  • 从3d协方差矩阵 Σ \Sigma Σ 到2d协方差矩阵 Σ ′ {\Sigma}^{\prime} Σ′ 的变换公式为
    Σ ′ = J k M Σ M T J k T \mathbf{\Sigma}^{\prime}=\mathbf{J}_k\mathbf{M}\mathbf{\Sigma}\mathbf{M}^T\mathbf{J}_k^T Σ′=JkMΣMTJkT

    具体推导过程可以参考文章:3d gaussian splatting 中的数学推导

  • 从像素级别的操作来理解渲染过程。

    对于给定坐标 x x x的像素点,我们可以通过视图变化计算出所有在该位置重叠的高斯的深度并排序,最后对排列好的高斯进行alpha融合,返回该像素点最后的颜色值。
    C = ∑ i ∈ N c i α i ′ ∏ j = 1 i − 1 ( 1 − α j ′ ) C=\sum_{i\in\mathcal{N}}c_i\alpha_i^{\prime}\prod j=1^{i-1}\left(1-\alpha_j^{\prime}\right) C=i∈N∑ciαi′∏j=1i−1(1−αj′)

    由于排序过程难以并行化,3dgs使用一些措施来提高效率。

  • 使用瓦片(图像块)来代替像素级别的精度,每个块(tiles)包含16*16个像素。对于覆盖多个块的高斯,作者复制高斯并为他们分配标识符。

  • 每个块独立排序并计算颜色值,该过程可并行执行。

    图片摘自知乎@目难忘

相关推荐
时光追逐者35 分钟前
MongoDB从入门到实战之MongoDB快速入门(附带学习路线图)
数据库·学习·mongodb
一弓虽40 分钟前
SpringBoot 学习
java·spring boot·后端·学习
在下胡三汉2 小时前
来自 3D 世界的 JPEG。什么是 glTF?什么是 glb?
3d
genggeng不会代码2 小时前
用于协同显著目标检测的小组协作学习 2021 GCoNet(总结)
学习
搞机小能手3 小时前
六个能够白嫖学习资料的网站
笔记·学习·分类
The_cute_cat5 小时前
25.4.22学习总结
学习
冰茶_6 小时前
.NET MAUI 发展历程:从 Xamarin 到现代跨平台应用开发框架
学习·microsoft·微软·c#·.net·xamarin
帅云毅6 小时前
Web3.0的认知补充(去中心化)
笔记·学习·web3·去中心化·区块链
豆豆6 小时前
day32 学习笔记
图像处理·笔记·opencv·学习·计算机视觉
nenchoumi31196 小时前
VLA 论文精读(十六)FP3: A 3D Foundation Policy for Robotic Manipulation
论文阅读·人工智能·笔记·学习·vln