3D Gaussian Splatting for Real-Time Radiance Field Rendering 论文阅读

如此热门的项目,网络上有很多大牛分析了这篇文章的做法,在这里简单记录一下个人粗浅的理解。

关于各种数学表达式的推导,论文和参考资料中都提供了较为详细的解读,本人能力有限,这一部分理解不够深刻,先不做记录。

项目主页

3DGS

SIGGRAPH 2023 best paper!

任务

跟NeRF一样,新视图的合成,不过本文实现了用instant-NGP的训练时间得到mipNeRF360的视觉效果,实现了新sota。

动机

目前的辐射场方法实现高视觉质量仍然需要训练和渲染成本高昂的神经网络,速度和质量不可兼得。

对于无界且完整的场景,当前没有方法可以实现高质量的实时新视角合成(>=30fps)。

贡献

  1. 用 3D 高斯表示场景,保留连续体积辐射场的所需属性以进行场景优化;
  2. 对 3D 高斯进行交错优化/密度控制,特别是优化各向异性协方差以实现场景的准确表示;
  3. 开发了一种快速可见性感知渲染算法,该算法支持各向异性扔雪球,既加速训练又允许实时渲染。

Pipeline

系统首先对 SfM 点云进行了初始化,得到 3D 高斯球们,然后借助相机外参将点投影到图像平面上(即Splatting),接着用可微光栅化,渲染得到图像。得到渲染图像Image后,将其与Ground Truth图像比较求loss,并沿蓝色箭头反向传播。蓝色箭头向上,更新3D高斯中的参数,向下送入自适应密度控制中,更新点云。

项目源码

项目主页给出了项目源码地址

我搭建了一下环境,重跑了一下代码,但是我没有特别好的设备,只能保存迭代7000次的结果。

官方给出了环境搭建的教程,我也做了简单记录,有兴趣可以参考3d gaussian-splatting源码运行及结果展示

参考

一文带你入门 3D Gaussian Splatting
【论文讲解】用点云结合3D高斯构建辐射场

相关推荐
m4Rk_2 小时前
【论文阅读】Agent 记忆机制(75):TiMem——用时间记忆树实现长期记忆的层级巩固
论文阅读·人工智能·学习·开源·github
m4Rk_21 小时前
【论文阅读】Agent 记忆机制(74):CompassMem——从相似度检索走向事件图上的记忆导航
论文阅读·人工智能·学习·开源·github
Rocky Ding*1 天前
【三年面试五年模拟】阿里巴巴-千问技术部算法一面全解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
Rocky Ding*1 天前
【三年面试五年模拟】2026-09-10 百度多模态大模型一面:9道技术问答与2道手撕题详解
论文阅读·人工智能·深度学习·机器学习·百度·aigc·ai-native
m4Rk_2 天前
【论文阅读】Agent 记忆机制(73):MemGAS——让长期对话记忆按问题选择粒度并关联证据
论文阅读·人工智能·学习·开源·github
Rocky Ding*2 天前
【三年面试五年模拟】2026-09-16 字节跳动 Agent 秋招一面全解析:从 Harness、记忆与并发到算法题的系统化解析
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·ai agent
西柚小萌新3 天前
【论文阅读】--Trust Before Fusion:QIMG‑7 与面向污染多模态 RAG 的源感知信任
论文阅读·人工智能
m4Rk_3 天前
【论文阅读】Agent 记忆机制(72):EMA——在写入前决定什么值得记住
论文阅读·人工智能·学习·开源·github
Rocky Ding*4 天前
一文读懂Hallo数字人核心基础知识
论文阅读·人工智能·深度学习·机器学习·aigc·数字人·ai-native
m4Rk_4 天前
【论文阅读】Agent 记忆机制(67):MemPO——用记忆级信用分配训练 Agent 主动管理长程上下文
论文阅读·人工智能·学习·开源·github