3D Gaussian Splatting学习日记

3D Gaussian Splatting

Our rasterization respects visibility order in contrast to their order-independent method. In addition, we back-

propagate gradients on all splats in a pixel and rasterize anisotropic splats.

与顺序无关的方法相比,我们的光栅化尊重可见性顺序 。此外,我们在像素中的所有片上反向传播梯度并对各向异性片进行光栅化。

We use 3D Gaussians for a more flexible scene representation, avoiding the need for MVS geometry and achieving

real-time rendering thanks to our tile-based rendering algorithm for the projected Gaussians.

我们使用 3D 高斯函数来实现更灵活的场景表示,避免了对 MVS 几何体的需求,并通过我们用于投影高斯函数的基于图块的渲染算法实现了实时渲染

We choose 3D Gaussians, which are differentiable and can be easily projected to 2D splats allowing fast 𝛼-blending for

rendering.

我们选择 3D 高斯,它是可微分的,可以轻松投影到 2D splats ,从而允许快速𝛼混合进行渲染。

nstead, we model the geometry as a set of 3D Gaussians that do not require normals. Our Gaussians are defined by a full 3D covariance matrix Σ defined in world space Zwicker et al. 2001a centered at point (mean) 𝜇.

相反,我们将几何体建模为一组不需要法线的 3D 高斯函数 。我们的高斯函数是由世界空间中定义的完整 3D 协方差矩阵 Σ 定义的 Zwicker 等人,2017。 2001a] 以点(平均值)𝜇 为中心:

This representation of anisotropic covariance -- suitable for op-timization -- allows us to optimize 3D Gaussians to adapt to the

geometry of different shapes in captured scenes, resulting in a fairly compact representation. Fig. 3 illustrates such cases

这种各向异性协方差 的表示(适合优化)使我们能够优化 3D 高斯 以适应捕获场景中不同形状的几何形状,从而产生相当紧凑的表示。图 3 说明了此类情况
fast rasterization 快速光栅化

Results show that splitting big Gaussians is important to allow good reconstruction of the background as

seen in Fig. 8, while cloning the small Gaussians instead of splitting them allows for a better and faster convergence especially when thin structures appear in the scene.

结果表明,分割大高斯 对于实​​现背景的良好重建非常重要,如图 8 所示,而克隆小高斯而不是分割它们可以实现更好更快的收敛,尤其是当场景中出现薄结构时

little overlap 小重叠产生伪影

to learn: https://zhuanlan.zhihu.com/p/680669616

https://zhuanlan.zhihu.com/p/679809915

相关推荐
啄缘之间20 小时前
8.【学习】工业级详细接口约束&覆盖率
开发语言·笔记·学习·uvm·sv
星夜夏空9921 小时前
FreeRTOS学习(6)——任务创建
单片机·嵌入式硬件·学习
nashane21 小时前
HarmonyOS 6学习:保存图片预览空白?沙箱路径转URI的“视觉修复”术
学习·华为·harmonyos
IronMurphy21 小时前
AI Agent 学习day5 MCP 协议入门与实践
网络·人工智能·学习
li星野21 小时前
LLMLingua:用小型模型“剪枝”大语言模型提示词,让长文本不再昂贵
人工智能·python·学习·语言模型·剪枝
峥嵘life21 小时前
Android getprop 属性限制详解:User 版本属性获取问题分析
android·开发语言·python·学习
星夜夏空9921 小时前
FreeRTOS学习(5)——内存映射
开发语言·学习
wuxinyan1231 天前
工业级大模型学习之路031:Streamlit 高级功能多会话管理和知识库管理
python·学习·智能体
古月开发1 天前
旧手机变身 AI 作业监督器:低成本家庭学习解决方案
人工智能·学习·智能手机
大江东去浪淘尽千古风流人物1 天前
【HaMeR】全Transformer架构的单目3D手部网格重建:ViT-H骨干+跨注意力MANO解码器源码深度解析
深度学习·3d·transformer·vit·手部重建·mano