神经辐射场（Neural Radiance Field，NeRF）的基本理论和原理 ｜ NeRF

系列文章目录

---

下面是关于 "NeRF的基本理论和原理" 的复习大纲：

@TOC

---

概述

1. Neural Radiance Field (NeRF) 神经辐射场：NeRF是一种基于神经网络的场景表示方法，通过学习场景中每个点的辐射和颜色信息，从而能够在任意视角下合成逼真的图像。它通过在三维空间中对点进行采样，并为每个点预测辐射和颜色，从而构建场景的隐式表示。

2. 隐式表示和视角合成：传统的三维场景表示方法通常使用显式几何模型，如网格或体素。而NeRF采用隐式表示，不需要显式地存储几何信息，而是通过神经网络预测场景属性。这使得NeRF能够实现从不同视角合成图像，即视角合成。

3. NeRF的应用领域：NeRF在多个领域具有广泛的应用，如机器人技术中的场景建模、城市建图用于创建逼真的城市模型、自主导航中的环境感知、虚拟现实和增强现实中的逼真场景渲染等。

4. 可微分体素渲染：NeRF的训练涉及到对场景中的体素进行渲染，以比较预测的辐射和颜色与真实图像之间的差异。这个渲染过程是可微分的，意味着可以使用反向传播进行优化，从而有效地训练NeRF模型。

---

基本理论和原理

1. Neural Radiance Fields (NeRF) 的背景和目的

NeRF 最初是由 Mildenhall 等人在 2020 年提出的，用于新颖的视图合成。由于能够高度真实地合成复杂场景的视图，NeRF 在该领域引起了广泛关注。

2. NeRF 的基本形式

基本上，NeRF 模型将三维场景表示为由神经网络近似的辐射场。这个辐射场为场景中的每个点和每个观察方向描述颜色和体积密度。

3. 数学公式的描述

这可以写为:
$$F\; (\; x\; ,\; \theta \; ,\; \varphi \; )\; \to \; (\; c\; ,\; \sigma \; )\; F(\backslash mathbf\{x\},\backslash theta,\backslash phi)\backslash to(\backslash mathbf\{c\},\backslash sigma)$$F(x,θ,ϕ)→(c,σ)

其中 $x\; =\; (\; x\; ,\; y\; ,\; z\; )\; \backslash mathbf\{x\}=(x,y,z)$x=(x,y,z) 是场景中的坐标， $(\; \theta \; ,\; \varphi \; )\; (\backslash theta,\backslash phi)$(θ,ϕ) 表示方位角和极角， $c\; =\; (\; r\; ,\; g\; ,\; b\; )\; \backslash mathbf\{c\}=(r,g,b)$c=(r,g,b) 代表颜色， $\sigma \; \backslash sigma$σ 代表体积密度。这个 5D 函数通常由一个或多个多层感知器 (MLP) 近似，有时被表示为 $F\; \Theta \; F\_\{\backslash Theta\}$FΘ 。

4. 视图方向的描述

两个观察角 $(\; \theta \; ,\; \varphi \; )\; (\backslash theta,\backslash phi)$(θ,ϕ) 通常由 $d\; =\; (\; d\; x\; ,\; d\; y\; ,\; d\; z\; )\; \backslash mathbf\{d\}=(d\_x,d\_y,d\_z)$d=(dx,dy,dz) 表示，这是一个 3D 笛卡尔单位向量。

5. 神经网络的表示

这种神经网络表示通过限制 $\sigma \; \backslash sigma$σ 的预测，即场景的内容，与观察方向无关来实现多视图的一致性。然而，颜色 $c\; \backslash mathbf\{c\}$c 被允许同时依赖于观察方向和场景坐标。

6. NeRF 模型的实现

在 NeRF 中通过设计 MLP 为两个阶段来实现基准模型的。第一阶段输入为 $x\; \backslash mathbf\{x\}$x，并输出 $\sigma \; \backslash sigma$σ 和一个高维特征向量。在第二阶段，特征向量与观察方向 $d\; \backslash mathbf\{d\}$d 连接，并传递给另一个 MLP，该 MLP 输出 $c\; \backslash mathbf\{c\}$c。值得注意的是，Mildenhall 等人认为 $\sigma \; \backslash sigma$σ MLP 和 $c\; \backslash mathbf\{c\}$c MLP 是同一个神经网络的两个分支，但后续的大多数研究者认为它们是两个独立的 MLP 网络。

7. 新视图合成的过程

使用经过训练的 NeRF 模型进行新的视图合成大致如下：

• 对于合成图像中的每个像素：通过场景发送相机光线，并生成一组采样点。这在图 1 的 (a) 中展示。
• 对于每个采样点：使用观察方向和采样位置使用 NeRF MLP 计算局部颜色和密度。这在图 1 的 (b) 中展示。
• 使用体积渲染：使用这些颜色和密度生成图像。这在图 1 的 (c) 中展示。

8. 体积渲染的数学描述

考虑到要渲染的场景的体积密度和颜色函数，使用体积渲染来获得任何相机光线的颜色 $C\; (\; r\; )\; C(\backslash mathbf\{r\})$C(r)，其中相机光线 $r\; (\; t\; )\; =\; o\; +\; t\; d\; \backslash mathbf\{r\}(t)=\backslash mathbf\{o\}+t\backslash mathbf\{d\}$r(t)=o+td 有相机位置 $o\; \backslash mathbf\{o\}$o 和观察方向 $d\; \backslash mathbf\{d\}$d。公式描述为：
$$C\; (\; r\; )\; =\; \int \; t\; 1\; t\; 2\; T\; (\; t\; )\; \cdot \; \sigma \; (\; r\; (\; t\; )\; )\; \cdot \; c\; (\; r\; (\; t\; )\; ,\; d\; )\; \cdot \; d\; t\; ,\; C(\backslash mathbf\{r\})=\backslash int\_\{t\_1\}^\{t\_2\}T(t)\backslash cdot\backslash sigma(\backslash mathbf\{r\}(t))\backslash cdot\backslash mathbf\{c\}(\backslash mathbf\{r\}(t),\backslash mathbf\{d\})\backslash cdot\; dt,$$C(r)=∫t1t2T(t)⋅σ(r(t))⋅c(r(t),d)⋅dt,

这里， $\sigma \; (\; r\; (\; t\; )\; )\; \backslash sigma(\backslash mathbf\{r\}(t))$σ(r(t)) 和 $c\; (\; r\; (\; t\; )\; ,\; d\; )\; \backslash mathbf\{c\}(\backslash mathbf\{r\}(t),\backslash mathbf\{d\})$c(r(t),d) 分别表示沿着观察方向 $d\; \backslash mathbf\{d\}$d 的相机光线上点 $r\; (\; t\; )\; \backslash mathbf\{r\}(t)$r(t) 的体积密度和颜色，而 $d\; t\; dt$dt 表示光线在每个积分步骤上行进的微小距离。

$T\; (\; t\; )\; T(t)$T(t) 是累积的透射率，表示光线从 $t\; 1\; t\_1$t1 到 $t\; t$t 行进而不被拦截的概率，由以下公式给出：
$$T\; (\; t\; )\; =\; exp\; \; (\; -\; \int \; t\; 1\; t\; \sigma \; (\; r\; (\; u\; )\; )\; \cdot \; d\; u\; )\; .\; T(t)=\backslash exp(-\backslash int\_\{t\_1\}^t\backslash sigma(\backslash mathbf\{r\}(u))\backslash cdot\; du).$$T(t)=exp(−∫t1tσ(r(u))⋅du).

9. 新视图的渲染过程

新的视图是通过追踪相机光线 $C\; (\; r\; )\; C(r)$C(r) 经过要合成的图像的每个像素来渲染的。这个积分可以通过数值方法计算。

数值采样方法：原始实现和大多数后续方法使用了一种非确定性的分层采样方法，其中光线被分成 $N\; N$N 个等间隔的区间，并从每个区间均匀地取一个样本。然后，上述方程可以近似为：
$$C\; ^\; (\; r\; )\; =\; \sum \; i\; =\; 1\; N\; \alpha \; i\; T\; i\; c\; i\; \backslash hat\{C\}(\backslash mathbf\{r\})=\backslash sum\_\{i=1\}^N\backslash alpha\_iT\_i\backslash mathbf\{c\}\_i$$C^(r)=i=1∑NαiTici

其中，
$$T\; i\; =\; exp\; \; (\; -\; \sum \; j\; =\; 1\; i\; -\; 1\; \sigma \; j\; \delta \; j\; )\; T\_i=\backslash exp(-\backslash sum\_\{j=1\}^\{i-1\}\backslash sigma\_j\backslash delta\_j)$$Ti=exp(−j=1∑i−1σjδj)

$\delta \; i\; \backslash delta\_i$δi 是从样本 $i\; i$i 到样本 $i\; +\; 1\; i\; +\; 1$i+1 的距离。 $(\; \sigma \; i\; ,\; c\; i\; )\; (\backslash sigma\_i,\; c\_i)$(σi,ci) 是沿着给定光线的样本点 $i\; i$i 计算的密度和颜色，由 NeRF MLP(s) 计算得出。 $\alpha \; i\; \backslash alpha\_i$αi 在样本点 $i\; i$i 处的透明度/不透明度，由以下公式给出：
$$\alpha \; i\; =\; 1\; -\; exp\; \; (\; \sigma \; i\; \delta \; i\; )\; \backslash alpha\_i=1-\backslash exp(\backslash sigma\_i\backslash delta\_i)$$αi=1−exp(σiδi)

这种方法的关键在于正确地估计每个像素的颜色，同时考虑到场景中的物体和其他因素。

10. 计算光线的期望深度

首先介绍通过积累的透射率来完成计算光线的期望深度。公式为:
$$d\; (\; r\; )\; =\; \int \; t\; 1\; t\; 2\; T\; (\; t\; )\; \cdot \; \sigma \; (\; r\; (\; t\; )\; )\; \cdot \; t\; \cdot \; d\; t\; .\; d(\backslash mathbf\{r\})=\backslash int\_\{t\_1\}^\{t\_2\}T(t)\backslash cdot\backslash sigma(\backslash mathbf\{r\}(t))\backslash cdot\; t\backslash cdot\; dt.$$d(r)=∫t1t2T(t)⋅σ(r(t))⋅t⋅dt.

公式被近似为：
$$D\; ^\; (\; r\; )\; =\; \sum \; i\; =\; 1\; N\; \alpha \; i\; t\; i\; T\; i\; \backslash hat\{D\}(\backslash mathbf\{r\})=\backslash sum\_\{i=1\}^N\backslash alpha\_it\_iT\_i$$D^(r)=i=1∑NαitiTi

这个公式基于前面的公式近似了深度的计算。

某些深度正规化方法使用期望深度来限制场景表面上的密度为delta-like函数，或者强制深度平滑性。

对于每个像素，使用平方误差光度损失来优化 MLP 参数。在整个图像上，该损失由以下公式给出:
$$L\; =\; \sum \; r\; \in \; R\; \mid \; \mid \; C\; ^\; (\; r\; )\; -\; C\; g\; t\; (\; r\; )\; \mid \; \mid \; 2\; 2\; L=\backslash sum\_\{r\backslash in\; R\}||\backslash hat\{C\}(\backslash mathbf\{r\})-C\_\{gt\}(\backslash mathbf\{r\})||\_2^2$$L=r∈R∑∣∣C^(r)−Cgt(r)∣∣22

这里的 $C\; g\; t\; (\; r\; )\; C\_\{gt\}(\backslash mathbf\{r\})$Cgt(r) 是与 $r\; r$r 相关的训练图像像素的真实颜色，而 $R\; R$R 是与待合成图像相关的光线的批次。

11. NeRF 模型的位置编码

NeRF 模型经常使用位置编码，这在渲染视图中改进了细节重建。在原始实现中，对场景坐标 $x\; \backslash text\{x\}$x 和观察方向单位向量 $d\; \backslash mathbf\{d\}$d 的每个组件应用了以下位置编码:
$$\gamma \; (\; v\; )\; =\; (\; s\; i\; n\; (\; 2\; 0\; \pi \; v\; )\; ,\; c\; o\; s\; (\; 2\; 0\; \pi \; v\; )\; ,\; s\; i\; n\; (\; 2\; 1\; \pi \; v\; )\; ,\; c\; o\; s\; (\; 2\; 1\; \pi \; v\; )\; ,\; .\; .\; .\; ,\; s\; i\; n\; (\; 2\; N\; -\; 1\; \pi \; v\; )\; ,\; c\; o\; s\; (\; 2\; N\; -\; 1\; \pi \; v\; )\; )\; ,\; \backslash gamma(v)=(sin(2^0\backslash pi\; v),cos(2^0\backslash pi\; v),sin(2^1\backslash pi\; v),cos(2^1\backslash pi\; v),...,sin(2^\{N-1\}\backslash pi\; v),cos(2^\{N-1\}\backslash pi\; v)),$$γ(v)=(sin(20πv),cos(20πv),sin(21πv),cos(21πv),...,sin(2N−1πv),cos(2N−1πv)),

其中 $N\; N$N 是用户确定的编码维度参数，在原始论文中， $x\; \backslash text\{x\}$x 设置为 $N\; =\; 10\; N=10$N=10 , $d\; \backslash mathbf\{d\}$d 设置为 $N\; =\; 4\; N=4$N=4 。但是，最近的研究已经通过位置编码的替代形式进行了实验并获得了很好的结果，包括可训练的参数化、积分和层次化变体。