AAAI 2026 | Arbi-3DGSR：任意倍率 3D 高斯超分辨率
一、论文信息
论文题目：Arbitrary-Scale 3D Gaussian Super-Resolution
论文作者：Huimin Zeng、Yue Bai、Yun Fu
发表单位： Northeastern University
发表会议：AAAI 2026
二、论文主要贡献
该论文首次开展任意倍率 3D 高斯超分辨率（Arbi-3DGSR）方向的研究，提出了一套集成尺度感知渲染、生成先验引导优化、渐进式超分三大核心组件的一体化框架，仅用单个 3D 高斯模型即可支持整数与非整数倍率的连续高清新视角渲染；其中尺度感知渲染自适应约束高斯信号频率与像素积分窗口，解决了不同分辨率下的走样问题，生成先验引导优化通过潜变量蒸馏与正交参考监督，在无高分辨率真值的条件下实现细节增强并维持视角结构一致，渐进式分阶段训练则保障了不同倍率间的内容连贯性；实验结果表明，该方法在多个基准数据集上的保真度与感知质量均全面超越现有方案，同时维持 1080p 下 85FPS 的实时渲染速度，且具备良好的倍率外推泛化能力。
图1.典型任意尺度3D高斯超分方案的可视化结果。使用普通3DGS连续渲染不同缩放因子的高分辨率新视图会产生混叠伪影。级联方案会产生内容变化（例如，StableSR）。抗混叠的Mip-Splatting和GaussianSR只提供有限的细节。
三、创新点
1、首次提出任意倍率 3D 高斯超分辨率（Arbi-3DGSR）任务，构建了单模型一体化框架，突破了现有 3DGS 超分方法仅支持固定整数倍率的局限，可支持整数与非整数倍率的连续高清渲染;
2、提出三大核心组件：尺度感知渲染、生成先验引导优化与渐进式超分，分别解决了抗混叠渲染、无真值时高分辨率结果的细节监督，以及多倍率间结构一致性保持的关键问题;
四、方法
给定一组低分辨率（LR）视角，本文的目标是重建三维场景，并以目标缩放倍率s（即低分辨率视角到高分辨率视角的放大比例）渲染高分辨率（HR）视角。本文提出一套统一框架，包含三大核心组件：尺度感知渲染、生成先验引导优化与渐进式超分。其中尺度感知渲染同时应用于训练与推理阶段，可在目标缩放倍率s下实现无走样的高分辨率新视角合成；训练阶段中，生成先验引导优化在无真值监督的条件下约束细节生成，渐进式超分则逐步提升目标倍率，维持不同缩放倍率间的结构一致性。
4.0 预备知识
4.0.1抗走样滤波
当场景以固定焦距和深度完成重建，却以更低的采样率进行渲染时，就会产生走样现象。Mip-Splatting 通过两阶段滤波对每个高斯基元进行带宽限制，使其最高信号频率始终低于输入视角对应的奈奎斯特频率。
3D 平滑滤波
将连续 3D 信号投影到 2D 屏幕平面本质上是一次采样操作。根据奈奎斯特 - 香农采样定理，若离散采样的采样频率为r^\hat{r}r^，则理论上可重建的连续信号最高频率r不超过r^2\frac{\hat{r}}{2}2r^。
因此，对于在K个视角中可见的高斯基元Gi3DG_{i}^{3 D}Gi3D，设各视角的像素单位焦距为fkk=1K{f_{k}}{k=1}^{K}fkk=1K，3D 世界空间下的深度为dkk=1K{d{k}}_{k=1}^{K}dkk=1K，则该基元的最大采样率为：
r^i=max({Ik(Gi3D)⋅fkdk}k=1K)(1) \hat{r}{i}=\max \left(\left\{\mathbb{I}{k}\left(G_{i}^{3 D}\right) \cdot \frac{f_{k}}{d_{k}}\right\}_{k=1}^{K}\right)\tag{1} r^i=max({Ik(Gi3D)⋅dkfk}k=1K)(1)
其中Ik(Gi3D)\mathbb{I}{k}(G{i}^{3 D})Ik(Gi3D)用于判断高斯基元Gi3DG_{i}^{3 D}Gi3D在第k个视角下的可见性。
在同一场景、同一相机视角（焦距、深度不变）的前提下，渲染分辨率与图像平面的空间采样率成正比：分辨率越低，像素网格越稀疏，单位长度内的采样点越少，采样率就越低。此时如果某个 3D 高斯投影后的 2D 尺寸远小于像素间距（信号频率很高），采样密度就无法满足奈奎斯特条件，采样后就会出现边缘锯齿、视角移动时闪烁等混叠伪影。同时即使渲染分辨率固定，深度越大、离相机越远的高斯，投影后的 2D 尺寸也会越小，等效的局部采样率越低，同样容易出现混叠闪烁
为限制重建 3D 模型的最高频率，Mip-Splatting 对每个 3D 高斯基元Gi3DG_{i}^{3 D}Gi3D施加低通高斯滤波，超参数γ\gammaγ用于控制滤波器尺寸：
Gi3D(x)mip=∣∑i∣∣∑i+γr^i⋅I∣e−12(x−μi)⊤(∑i+γr^i⋅I)−1(x−μi)(2) G_{i}^{3 D}(x){mip}=\sqrt{\frac{\left|\sum{i}\right|}{\left|\sum_{i}+\frac{\gamma}{\hat{r}{i}} \cdot I\right|}} e^{-\frac{1}{2}\left(x-\mu{i}\right)^{\top}\left(\sum_{i}+\frac{\gamma}{\hat{r}{i}} \cdot I\right)^{-1}\left(x-\mu{i}\right)}\tag{2} Gi3D(x)mip= ∑i+r^iγ⋅I ∣∑i∣ e−21(x−μi)⊤(∑i+r^iγ⋅I)−1(x−μi)(2)
2D Mip 滤波
渲染过程中，世界空间的每个 3D 高斯会被投影到图像平面，形成 2D 高斯，其位置为μ^=PWμ,1⊤\hat{\mu}=P W\\mu, 1^{\top}μ^=PWμ,1⊤，协方差为∑^=JW∑W⊤J⊤\hat{\sum }=J W \sum W^{\top} J^{\top}∑^=JW∑W⊤J⊤，其中P、W、J分别代表投影矩阵、外参矩阵与投影变换的雅可比矩阵。
在对像素x^\hat{x}x^进行着色时，Mip-Splatting 对 2D 高斯施加 2D 高斯滤波，以此划定积分窗口范围，有效避免 2D 高斯信号尺度过小：
Gi2D(x^)mip=∣∑^i∣∣∑^i+ε⋅I∣e−12(x^−μ^i)⊤(∑^i+ε⋅I)−1(x^−μ^i)(3) G_{i}^{2 D}(\hat{x}){mip}=\sqrt{\frac{\left|\hat{\sum}{i}\right|}{\left|\hat{\sum}{i}+\varepsilon \cdot I\right|}} e^{-\frac{1}{2}\left(\hat{x}-\hat{\mu}{i}\right)^{\top}\left(\hat{\sum}{i}+\varepsilon \cdot I\right)^{-1}\left(\hat{x}-\hat{\mu}{i}\right)}\tag{3} Gi2D(x^)mip= ∑^i+ε⋅I ∑^i e−21(x^−μ^i)⊤(∑^i+ε⋅I)−1(x^−μ^i)(3)
其中ε\varepsilonε为覆盖单个像素范围的超参数。
像素x^\hat{x}x^的最终颜色通过如下方式累积计算：
C(x^)=∑i=1NαiciGi2D(x^)mip∏j=1i−1(1−αjGj2D(x^)mip)(4) C(\hat{x})=\sum {i=1}^{N}\alpha {i}c{i}G{i}^{2D}(\hat{x})_{mip}\prod {j=1}^{i-1}\left( 1-\alpha {j}G{j}^{2D}(\hat{x}){mip}\right)\tag{4} C(x^)=i=1∑NαiciGi2D(x^)mipj=1∏i−1(1−αjGj2D(x^)mip)(4)
其中αi\alpha_{i}αi与cic_{i}ci分别为第i个基元的不透明度与颜色。
4.1 尺度感知渲染
3DGS 的高斯信号带宽与像素积分窗口都是固定的，当渲染倍率变化时，图像平面的采样密度会同步改变 ------ 低倍率下采样不足会出现锯齿混叠，高倍率下信号带宽不足又会导致细节模糊，无法适配任意缩放倍率。其核心原理是将目标尺度因子同步纳入 3D 几何约束与 2D 着色流程 ：在 3D 层面，根据缩放倍率重新计算每个高斯的最大采样率上限，自适应调整高斯协方差的平滑程度，让信号最高频率始终匹配当前分辨率的奈奎斯特极限 ，从几何源头避免混叠；在 2D 层面，将像素积分窗口的大小与倍率成反比调整，倍率越高积分窗口越小，降低固定窗口带来的积分近似误差，让像素着色更精准。由此实现任意倍率下信号带宽与采样密度的动态匹配，兼顾抗走样与细节保留。
3D 尺度感知平滑滤波 。高斯基元的最大采样率由像素密度ρ\rhoρ、焦距f与相机深度d共同决定，满足r^=f⋅ρd\hat{r}=\frac{f \cdot \rho}{d}r^=df⋅ρ。因此，当输出分辨率按倍率s缩放时，采样率变为r^(s)=f⋅ρ⋅sd\hat{r}(s)=\frac{f \cdot \rho \cdot s}{d}r^(s)=df⋅ρ⋅s。对于在K个视角中可见的高斯基元Gi3DG_{i}^{3 D}Gi3D，其最大采样率为：
r^i(s)=max({Ik(Gi3D)⋅fk⋅skdk}k=1K)(5) \hat {r}{i}(s)=\operatorname* {max}\left( \left\{ \mathbb {I}{k}\left( G_{i}^{3D}\right) \cdot \frac {f_{k}\cdot s_{k}}{d_{k}}\right\} _{k=1}^{K}\right)\tag{5} r^i(s)=max({Ik(Gi3D)⋅dkfk⋅sk}k=1K)(5)
其中sks_{k}sk为第k个相机的缩放倍率。在利用公式 2 约束最高信号频率时，像素密度ρ\rhoρ被纳入超参数γ\gammaγ中。通过引入缩放倍率，方法可在不同分辨率下实现更自适应、更精准的高斯带宽约束。
2D 尺度感知 Mip 滤波。利用高斯信号进行像素着色时，积分窗口大小取决于像素数量（见图 2 (a)），像素数量越多，窗口尺寸越小。为探究窗口尺寸对积分效果的影响，本文通过对比标准高斯的累积分布函数与原生 2D Mip 滤波的累积分布函数，分析了一维情形下的近似误差。如图 2 (b) 中蓝色曲线所示，随着实际窗口尺寸增大，采用固定窗口面积进行积分会累积近似误差，这体现了静态积分在捕获尺度相关信号时的局限性。
图2.（a）精确的像素着色需要将积分窗口与实际像素大小对齐。（b）关于窗口大小的近似误差分析，所提出的方法在近似误差方面结果较低。
因此，本文通过将 2D 高斯滤波的方差设为εk=εsk\varepsilon_{k}=\frac{\varepsilon}{s_{k}}εk=skε，自适应调整窗口大小。将尺度感知 2D 高斯滤波融入 2D 高斯信号，得到：
Gi2D(x^)mip=∣∑^i∣∣∑^i+εk⋅I∣e−12(x^−μ^i)⊤(∑^i+εk⋅I)−1(x^−μ^i)(6) G_{i}^{2 D}(\hat{x}){m i p}=\sqrt{\frac{\left|\hat{\sum}{i}\right|}{\left|\hat{\sum}{i}+\varepsilon{k} \cdot I\right|}} e^{-\frac{1}{2}\left(\hat{x}-\hat{\mu}{i}\right)^{\top}\left(\hat{\sum}{i}+\varepsilon_{k} \cdot I\right)^{-1}\left(\hat{x}-\hat{\mu}_{i}\right)} \tag{6} Gi2D(x^)mip= ∑^i+εk⋅I ∑^i e−21(x^−μ^i)⊤(∑^i+εk⋅I)−1(x^−μ^i)(6)
图 2 (b) 中的橙色曲线表明，相比原生 Mip 滤波，提出的尺度感知 Mip 滤波始终保持更低的近似误差，印证了其在精准捕获信号方面的有效性。
4.2 生成先验引导优化
3D 高斯超分场景只有低分辨率输入视图，没有高分辨率真值作为监督，无法直接优化高斯的高频细节；若直接用扩散模型生成的高分辨率图做像素级监督，又会因生成的随机性引发视角间内容不一致、结构偏离原始场景的问题。其核心原理是以扩散模型的生成先验提供纹理参考，同时用 "潜变量蒸馏 + 正交视角监督" 的设计规避生成带来的不一致性：不直接在像素空间做监督，而是将低分辨率视图与渲染的超分视图分别输入扩散模型，取低分辨率视图去噪更充分、结构更完整的潜变量，去引导超分视图更早去噪阶段的潜变量，通过最小化二者的预测噪声差异，把生成的精细纹理 "蒸馏" 进 3D 高斯参数中 。这种方式既注入了生成先验的细节，又保留了低分辨率视图的原始结构，同时容忍生成带来的轻微像素错位。此外仅选取近似正交(相机光轴夹角接近 90° )的视图补充像素级纹理损失，利用正交视图重叠区域少的特点，避免相邻视角生成内容冲突，保障几何一致性。
生成潜变量蒸馏 。如图 3 所示，给定低分辨率视角ILRI_{LR}ILR，采样随机高斯噪声z，并以ILRI_{LR}ILR为条件将其嵌入潜空间，得到带噪潜变量zLRmz_{LR}^{m}zLRm，其中m为初始去噪时间步。随后zLRmz_{LR}^{m}zLRm通过基于 U-Net 的扩散过程迭代去噪，即zLRm−1=UNet(zLRm,m)z_{LR}^{m-1}=UNet(z_{LR}^{m}, m)zLRm−1=UNet(zLRm,m)，逐步生成蕴含丰富结构信息的中间潜变量zLRnz_{LR}^{n}zLRn。
图3：生成先验引导优化，其中利用生成先验来约束渲染的高分辨率视图中的细节。为了缓解生成先验引入的视图不一致问题，优化在潜在空间中进行，并且纹理监督只应用于正交视图。
与此同时，对第t训练阶段经尺度感知渲染得到的视角ISRtI_{SR}^{t}ISRt执行相同的条件扩散过程，得到中间潜变量zSRn^z_{SR}^{\hat{n}}zSRn^，其中n^\hat{n}n^为较早的去噪时间步（满足n^>n\hat{n}>nn^>n）。因此zLRnz_{LR}^{n}zLRn包含来自生成先验的更丰富结构信息。
为将zLRnz_{LR}^{n}zLRn中的结构信息注入zSRn^z_{SR}^{\hat{n}}zSRn^以引导优化，提出潜变量蒸馏采样（LDS）损失LLDS\mathcal{L}_{LDS}LLDS，其梯度计算如下：
∇θLLDS(θ)=En^w(n\^)⋅(ϵϕ(zSRn\^;ISRt,n\^)−ϵϕ(zLRn;ILR,n))∂ISRt∂θ,(7) \nabla {\theta }\mathcal {L}{LDS}(\theta )=\mathbb {E}_{\hat {n}}\left w(\\hat {n})\\cdot \\left( \\epsilon _{\\phi }\\left( z_{SR}\^{\\hat {n}};I_{SR}\^{t},\\hat {n}\\right) -\\epsilon _{\\phi }\\left( z_{LR}\^{n};I_{LR},n\\right) \\right) \\frac {\\partial I_{SR}\^{t}}{\\partial \\theta }\\right , \tag{7} ∇θLLDS(θ)=En^w(n\^)⋅(ϵϕ(zSRn\^;ISRt,n\^)−ϵϕ(zLRn;ILR,n))∂θ∂ISRt,(7)
其中ϵϕ(⋅)\epsilon_{\phi}(\cdot)ϵϕ(⋅)表示利用 U-Net 预测噪声，w(n^)w(\hat{n})w(n^)为与时间步n^\hat{n}n^相关的权重函数，θ\thetaθ为 3D 高斯基元的可学习参数。
与经典的分数蒸馏采样（SDS）损失对比同一时间步的预测噪声与附加高斯噪声不同，公式 7最小化异步潜变量zSRn^z_{SR}^{\hat{n}}zSRn^与zLRnz_{LR}^{n}zLRn之间的噪声差异。这一方式既促使zSRn^z_{SR}^{\hat{n}}zSRn^逼近zLRnz_{LR}^{n}zLRn中的精细纹理，又充分保留了低分辨率视角的结构信息。此外，最小化噪声差异而非像素差异，可在提供结构监督的同时，容忍生成先验带来的像素错位。
正交参考精修。尽管生成潜变量蒸馏提供了容忍不一致性的监督，但显式的像素级监督对增强细粒度纹理细节至关重要。为缓解相邻视角间的潜在不一致性，本文采用正交视角策略：对每个场景，选取一组近似正交的视角（视角数量因场景而异）进行像素级精修。
如图 3 所示，对于正交视角，将潜变量zLRnz_{LR}^{n}zLRn进一步去噪并解码，得到高分辨率参考图IReftI_{Ref}^{t}IReft，并按下式计算纹理损失Ltex\mathcal{L}_{tex}Ltex：
Ltex=Iortho⋅∥ISRt−IReft∥2,(8) \mathcal{L}{tex }=\mathbb{I}{ortho } \cdot\left\| I_{S R}^{t}-I_{Ref }^{t}\right\| ^{2}, \tag{8} Ltex=Iortho⋅ ISRt−IReft 2,(8)
其中Iortho\mathbb{I}_{ortho}Iortho指示当前视角是否为正交视角。正交参考精修鼓励模型从非重叠视角中学习，避免冲突信息，同时保持几何一致性。
4.3 渐进式超分
由于要使用单个模型要覆盖从低到高的连续倍率，若直接混合所有倍率训练，高倍率下的细节偏差容易被放大，导致不同倍率渲染结果结构错位、缩放过程中内容跳变。其核心原理是**采用分阶段递进的训练范式，从低倍率到高倍率逐步提升训练的最大缩放倍数，每个阶段的 3D 高斯参数都继承自上一阶段，训练时随机采样当前阶段及之前的所有倍率（见图 4）。同时在相邻阶段的渲染结果之间施加结构一致性损失：将当前阶段的高分辨率结果下采样到上一阶段的对应倍率，用 MSE 与 D-SSIM 联合约束二者的结构相似性。**通过这种由粗到细的逐步优化，让高倍率细节在低倍率结构的基础上生长，保证不同倍率间的结构平滑过渡，避免缩放时出现内容畸变或跳变。
在第t阶段，3D 高斯基元由第(t-1)阶段学习得到的参数初始化。对每个高分辨率视角，渲染缩放倍率从{s1,s2,...,st}\{s^{1}, s^{2}, ..., s^{t}\}{s1,s2,...,st}中随机选取，其中sts^{t}st为第t阶段使用的最大缩放倍率。
图4：逐步超分辨率。训练过程被分为多个阶段，每个阶段遵循相同的机制，同时逐步生成更高分辨率的视图。相邻阶段之间会应用结构损失，以确保不同尺度下的一致性。
为维持不同缩放倍率间的结构一致性，本文在当前第t阶段的高分辨率视角，与上一第(t-1)阶段对应的低分辨率视角之间施加结构损失。具体而言，给定当前缩放倍率sis^{i}si，上一阶段以si−1s^{i-1}si−1进行渲染，确保倍率间平滑过渡。结构损失Lstr\mathcal{L}{str}Lstr在渲染输出ISRtI{SR}^{t}ISRt与ISRt−1I_{SR}^{t-1}ISRt−1之间计算，形式如下：
Lstr=(1−λ)LMSE(D(ISRt,sisi−1),ISRt−1)+λLD−SSIM(D(ISRt,sisi−1),ISRt−1)(9) \begin{aligned} \mathcal{L}{str }= & (1-\lambda) \mathcal{L}{MSE}\left(\mathcal{D}\left(I_{S R}^{t}, \frac{s^{i}}{s^{i-1}}\right), I_{S R}^{t-1}\right) \\ & +\lambda \mathcal{L}{D-SSIM}\left(\mathcal{D}\left(I{S R}^{t}, \frac{s^{i}}{s^{i-1}}\right), I_{S R}^{t-1}\right) \end{aligned} \tag{9} Lstr=(1−λ)LMSE(D(ISRt,si−1si),ISRt−1)+λLD−SSIM(D(ISRt,si−1si),ISRt−1)(9)
其中D(ISRt,sisi−1)\mathcal{D}\left(I_{S R}^{t}, \frac{s^{i}}{s^{i-1}}\right)D(ISRt,si−1si)表示将高分辨率图像ISRtI_{SR}^{t}ISRt下采样sisi−1\frac{s^{i}}{s^{i-1}}si−1si倍，λ\lambdaλ为控制各损失项权重的超参数。
在相邻阶段间施加结构损失，有助于保持结构相似性，确保不同倍率间的平滑过渡与连续性。综上，本文的总体目标函数为：
L=λ1LLDS+λ2Ltex+λ3Lstr(10) \mathcal{L}=\lambda_{1} \mathcal{L}{LDS}+\lambda{2} \mathcal{L}{tex }+\lambda{3} \mathcal{L}_{str }\tag{10} L=λ1LLDS+λ2Ltex+λ3Lstr(10)
其中λ1\lambda_{1}λ1、λ2\lambda_{2}λ2、λ3\lambda_{3}λ3分别为各损失项的权重。
训练按 2×→4×→8× 逐级递进，后一阶段直接加载前一阶段的模型检查点，初始化高斯参数与优化器状态，高倍率细节在低倍率结构的基础上迭代优化，而非从零训练；每个阶段训练时都会混合采样当前及之前的所有倍率，避免低倍率的渲染效果出现遗忘退化。同时额外引入上一阶段的冻结高斯模型作为 "教师模型"，将当前阶段渲染的高分辨率结果下采样后，和教师模型渲染的低分辨率结果计算 MSE+D-SSIM 联合结构损失，强制高倍率结果下采样后与低倍率结构严格对齐，从训练机制上保证不同倍率间的结构平滑过渡，不会出现缩放时的内容跳变或畸变。
五、实验分析
数据集。实验在 4 个基准数据集上开展，分别为 Blender、Mip-NeRF360、Tanks&Temples和 Deep Blending，训练集与测试集划分方式与 3DGS保持一致。低分辨率输入视图通过双三次插值将原始全分辨率图像下采样 8 倍得到。三个训练阶段采用的放大倍率分别为 ×2、×4 和 ×8。训练过程不使用原始全分辨率图像，因为超分场景下不存在真实高分辨率真值。为验证方法在任意倍率下的泛化能力，同时测试了整数倍率（×2、×4、×8）与非整数倍率（×3.5、×5.7），对应真值视图通过将原始高分辨率图像下采样至目标分辨率得到。
评价指标。采用峰值信噪比（PSNR）与结构相似性（SSIM）作为像素级误差指标，评估重建精度；采用弗雷歇起始距离（FID）评估感知质量，以原始全分辨率视图作为参考分布。
FID（Fréchet Inception Distance，弗雷歇起始距离）是评估生成图像感知真实感的核心指标，数值越低代表生成结果的视觉质量越接近真实图像。
它的核心原理是不做像素级比对，而是从特征分布层面衡量差异：用预训练的 Inception-v3 网络分别提取生成图像集和真实参考图像集的深层视觉特征，将两组特征各自拟合为多元高斯分布，再计算两个高斯分布之间的弗雷歇距离。这个距离越小，说明生成图像的纹理、细节、整体视觉统计特性和真实图像越吻合。
对比基线。与多类方法进行全面对比：3DGS、级联式基线方法、抗走样技术（Mip-Splatting、Analytic-Splatting），以及 3D 超分方法 GaussianSR。其中3DGS 与抗走样基线均在低分辨率视图上训练，直接渲染目标倍率的高分辨率新视角；级联式方案先通过原生 3DGS 渲染低分辨率新视角，再使用不同上采样器放大，上采样器包括双三次插值、任意倍率超分方法 ArbiSR以及生成式方法 StableSR，为简洁表述，级联方法以对应上采样器名称命名（如 Bicubic）。将 GaussianSR 改造为支持任意倍率的版本，通过随机选取放大倍率进行训练。
表1：Blender、Mip-NeRF360、Tanks & Temples 和 DeepBlending 数据集的量化结果，最佳和次佳结果分别用红色和黄色标出。所提出的方法取得了整体最佳表现，展示了其在生成高保真结果以及在不同缩放因子下保持一致性方面的有效性。