nerf

智驾机器人技术前线

近期两篇NeRF/3DGS-based SLAM方案赏析：TS-SLAM and MBA-SLAM原文链接：近期两篇NeRF/3DGS-based SLAM方案赏析：TS-SLAM and MBA-SLAM

Ubuntu终端跑colmap实验记录——生成sparse和poses_bounds.npy目录前言：colmap生成sparse1.打开工程进行自动重建（不需要）——just 避雷！2.单步重建——生成sparse图像

【三维重建】Semantic Gaussians:开放词汇的3DGS场景理解开放词汇的三维场景理解是计算机视觉中的一个重大挑战，在具体化代理和增强现实系统中有着广泛的应用。现有的方法采用神经渲染方法作为三维表示，联合优化颜色和语义特征，同时实现渲染和场景理解。本文介绍了一种基于三维高斯溅射的开放词汇场景理解方法语义高斯。我们的关键思想是将知识从二维预训练模型提取为三维高斯模型。与现有的方法不同，我们设计了一种通用的投影方法，将预先训练好的图像编码器映射到一个新的三维高斯的语义component ，这是基于空间关系，不需要额外的训练。我们进一步建立了一个三维语义网络，直接从原

3DGS与NeRF的区别nerf：https://arxiv.org/abs/2003.08934 3dgs：https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/3d_gaussian_splatting_low.pdf

【三维重建】近期进展（完善中）提示：以下是本篇文章正文内容，下面案例可供参考来源：1清华大学人工智能产业研究院2安阳理工大学 3清华大学4北京理工大学项目：https://sainingzhang.github.io/project/uc-gs/

NeRF: Representing Scenes asNeural Radiance Fields for View Synthesis 论文解读目录一、导言二、NeRF1、渲染和反渲染2、NeRF的基本原理3、采样点4、位置编码5、NeRF网络结构

2D Inpainting 与NeRF 3D重建的多视角一致性问题NeRF依赖于输入图像的一致性。NeRF（Neural Radiance Fields）在生成三维场景时，依赖于从多个视角拍摄的输入图像之间的一致性来准确地推断场景的三维结构和颜色信息。

【三维重建】Pixel-GS:三维高斯泼溅的像素感知的梯度密度控制（去除浮点，提升精度）项目：https://pixelgs.github.io/ 标题：Pixel-GS: Density Control with Pixel-aware Gradient for 3D Gaussian Splatting 来源：香港大学；腾讯AI Lab

【三维AIGC】扩散模型LDM辅助3D Gaussian重建三维场景标题：《Sampling 3D Gaussian Scenes in Seconds with Latent Diffusion Models》来源：Glasgow大学；爱丁堡大学连接：https://arxiv.org/abs/2406.13099

辐射神经场算法——Instant-NGP / Mipi-NeRF 360 / 3D Gaussian Splatting辐射神经场算法——NeRF算法详解辐射神经场算法——Wild-NeRF / Mipi-NeRF / BARF / NSVF / Semantic-NeRF / DSNeRF 上面两篇博客是之前对NeRF相关算法的一些简单总结，离上一次工作中接触到NeRF相关的算法已经过去一年多的时间，最近大火的3D Gaussian Splatting让我忍不住想又跟进下这个方向的工作，我另外挑了两个比较有代表性的工作，一个是速度上SOAT的方法Instant-NGP，一个是效果上SOTA的方法Mipi NeRF 36

旋转的油纸伞

【ACM_2023】3D Gaussian Splatting for Real-Time Radiance Field RenderingBernhard Kerbl, Georgios Kopanas, Thomas Leimkühler, George Drettakis

GNeRF论文理解本文主要想要解决的问题是如何使用uncalibrated的照片来进行Nerf重建。虽然说现在已经有了一些方式可以对相机位姿进行估计和优化，但是他们限制很多，且必须要有一个合理的初始化区间。在优化未知位姿的时候，对正面的场景也只能在short camera trajectories的优化。本文提出的方式，首先是不需要一个大致的相机位姿的初始化，只需要有一个大致的相机位姿分布，且可以在较大的轨迹内进行优化。

NGM-SLAM：首创融合神经辐射场子图的3DGS-SLAM，问鼎SOTA！论文标题：NGM-SLAM: Gaussian Splatting SLAM with Radiance Field Submap

政安晨：【Keras机器学习示例演绎】（七）—— 利用 NeRF 进行 3D 体积渲染目录简介设置下载并加载数据NeRF 模型训练可视化训练步骤推理渲染三维场景可视化视频结论政安晨的个人主页：政安晨

小白有颗大白梦

【读论文】【泛读】三篇生成式自动驾驶场景生成: Bevstreet, DisCoScene, BerfSceneFrom the title of this paper, we know it bound a relation from Bev(Bird’s-Eye View) to Street view image.

【动态三维重建】Deformable 3D Gaussians 可变形3D GS用于单目动态场景重建（CVPR 2024）主页：https://ingra14m.github.io/Deformable-Gaussians/ 代码：https://github.com/ingra14m/Deformable-3D-Gaussians 论文：https://arxiv.org/abs/2309.13101

小白有颗大白梦

【读论文】【精读】3D Gaussian Splatting for Real-Time Radiance Field RenderingWhat kind of thing is this article going to do (from the abstract and conclusion, try to summarize it in one sentence)

NERF论文笔记(1/2)实现了一个任意视角视图生成算法：输入稀疏的场景图像，通过优化连续的Volumetric场景函数实现；用全连接深度网络表达场景，输入是一个连续的5维坐标，3D坐标+2D角度（航向、俯仰角），输出Volume density和依赖于视图的emitted radiance，查询5维坐标并用经典的Volume Rendering把输出的颜色与强度投影到图像。

【三维重建】【SLAM】SplaTAM：基于3D高斯的密集RGB-D SLAM题目：SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM 地址：spla-tam.github.io 机构：CMU（卡内基梅隆大学）、MIT（美国麻省理工）

学习笔记之——3D Gaussian SLAM，SplaTAM配置（Linux）与源码解读SplaTAM全称是《SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM》，是第一个（也是目前唯一一个）开源的用3D Gaussian Splatting（3DGS）来做SLAM的工作。