3DGS学习(四)—— 快速高斯光栅化

快速高斯光栅化

参考文章:https://zhuanlan.zhihu.com/p/678877999

原论文:EWA Splatting

确定视锥体

确定相机位姿进一步确定视锥体,有利于剔除视锥体以外的部分,防止出现浪费的计算。

3D -> 2D (splatting)

  • 该过程将3D空间内的3D椭球投影到2D空间中进行渲染,该过程主要对表示椭球的协方差矩阵乘上变换矩阵加以实现。类比到现实生活中,就好像将雪球用力掷向墙壁,啪的一声绽开,在墙上留下了一个中心密集,向四周逐渐变浅变稀疏的雪块。

  • 从3d协方差矩阵 Σ \Sigma Σ 到2d协方差矩阵 Σ ′ {\Sigma}^{\prime} Σ′ 的变换公式为
    Σ ′ = J k M Σ M T J k T \mathbf{\Sigma}^{\prime}=\mathbf{J}_k\mathbf{M}\mathbf{\Sigma}\mathbf{M}^T\mathbf{J}_k^T Σ′=JkMΣMTJkT

    具体推导过程可以参考文章:3d gaussian splatting 中的数学推导

  • 从像素级别的操作来理解渲染过程。

    对于给定坐标 x x x的像素点,我们可以通过视图变化计算出所有在该位置重叠的高斯的深度并排序,最后对排列好的高斯进行alpha融合,返回该像素点最后的颜色值。
    C = ∑ i ∈ N c i α i ′ ∏ j = 1 i − 1 ( 1 − α j ′ ) C=\sum_{i\in\mathcal{N}}c_i\alpha_i^{\prime}\prod j=1^{i-1}\left(1-\alpha_j^{\prime}\right) C=i∈N∑ciαi′∏j=1i−1(1−αj′)

    由于排序过程难以并行化,3dgs使用一些措施来提高效率。

  • 使用瓦片(图像块)来代替像素级别的精度,每个块(tiles)包含16*16个像素。对于覆盖多个块的高斯,作者复制高斯并为他们分配标识符。

  • 每个块独立排序并计算颜色值,该过程可并行执行。

    图片摘自知乎@目难忘

相关推荐
for_ever_love__2 小时前
python基础语法学习: 数据容器
windows·python·学习
cyadyx2 小时前
【Three.js】Three.js 中加载 3D 模型
前端·javascript·3d
云空2 小时前
《电子专业完整学习路线图(分两套:本科四年版 / 零基础自学速成版)》
科技·学习·学习方法·高考
min(a,b)2 小时前
学习第16天:LangGraph 与 Agent 工作流编排
学习
woshihuanglaoshi3 小时前
鸿蒙技术进阶全景高级成长体系:从初中级到架构师的技能树/学习路径/项目实战/认证体系系统性方法论
学习·华为·harmonyos
AI即插即用3 小时前
即插即用系列 | IEEE TMI PLG-HN:原型学习引导的 CNN-Transformer 混合网络,攻克乳腺肿瘤分割难题
人工智能·深度学习·神经网络·学习·目标检测·cnn·transformer
for_ever_love__4 小时前
python基础语法学习: 变量, 输入输出, 运算符
网络·python·学习
学习和思考4 小时前
非自动化专业如何自学PLC?我的6个月学习路线图
笔记·学习·自动化·学习方法
拾陆楼5 小时前
PT: DMSA辅助调tree报告前后级余量脚本
后端·学习
sbjdhjd7 小时前
大三网安秋招核心学习前言(AI 安全 + Web 漏洞 + 内网渗透全考点)
人工智能·网络协议·学习·安全·网络安全·开源·php