图 1：从点云到高斯场景。InfiniSplat v2 从几何基础模型中保留点云位置，并学习高斯属性，以实现高质量的新视角渲染。左图：输入视角、点云及对应的高斯渲染结果，其中橙色轮廓标出了放大区域。右图：更多将点云与生成的高斯场景进行对比的示例。
目录
- 摘要
- 一、双分支架构 (Dual-Branch Architecture)
- 二、尺度对齐训练 (Scale-Aligned Training)
- 三、随机大角度视图监督 (Random Large-Angle View Supervision)
- 四、可学习的渲染反馈细化 (Learned Rendering-Feedback Refinement)
- 实验
-
- 实验设置 (Experimental Setup)
- [核心结果与对比 (Comparison with SOTA)。](#核心结果与对比 (Comparison with SOTA)。)
- 消融实验与深度分析 (Ablations and Analysis)
标题：《INFINISPLAT V2: ANALYZING AND IMPROVING FEED-FORWARD 3DGS FROM ANY VIEWS》
来源：浙江大学 ；Hello TransTech ；深圳大学 ；Causa Robotics
链接：https://zju3dv.github.io/InfiniSplat2
摘要
InfiniSplat v2 是一种前馈高斯重建方法，它直接从输入图像构建 3D 场景，以实现高质量的新视角渲染。该框架通过解耦几何和属性预测、利用冻结的几何分支，并实施尺度对齐训练以及大角度目标视图监督，有效解决了在大视角变化下学习高斯属性的挑战。
一、双分支架构 (Dual-Branch Architecture)
该方法 将几何和属性预测分离开来 ，以防止属性误差错误地改变点的位置。
- 解耦分支：使用从相同的预训练 Depth Anything 3 (DA3) 权重初始化的两个分支。
- 特征提取 ：冻结的几何分支 ( Φ g e o \Phi_{\mathrm{geo}} Φgeo) 用于预测深度和相机参数，而可训练的属性分支 ( Φ a t t r \Phi_{\mathrm{attr}} Φattr) 则提取多层补丁特征。 这种双分支操作定义为： ( D ^ C , Π ^ C ) = Φ g e o ( I C ; Q C ) (\widehat{\mathbf{D}}{\mathcal{C}}, \widehat{\boldsymbol{\Pi}}{\mathcal{C}}) = \Phi_{\mathrm{geo}}(\mathcal{I}{\mathcal{C}}; \mathbf{Q}{\mathcal{C}}) (D C,Π C)=Φgeo(IC;QC) F C = Φ a t t r ( I C ; Q C ) \mathbf{F}{\mathcal{C}} = \Phi{\mathrm{attr}}(\mathcal{I}{\mathcal{C}}; \mathbf{Q}{\mathcal{C}}) FC=Φattr(IC;QC)
其中 I C \mathcal{I}{\mathcal{C}} IC 表示输入 RGB 图像， Q C \mathbf{Q}{\mathcal{C}} QC 表示可选的位姿条件， F C \mathbf{F}_{\mathcal{C}} FC 表示生成的特征。 - 高斯表示 ：3D 场景 G \mathcal{G} G 表示为 M M M 个高斯球，结构为 G = { ( μ m , ξ m ) } m = 1 M \mathcal{G} = \{(\boldsymbol{\mu}_m, \boldsymbol{\xi}m)\}{m=1}^M G={(μm,ξm)}m=1M。 每个高斯球包含一个固定的中心位置 μ m ∈ R 3 \boldsymbol{\mu}_m \in \mathbb{R}^3 μm∈R3 和可训练的属性 ξ m = ( α m , s m , q m , c m ) \boldsymbol{\xi}_m = (\alpha_m, \mathbf{s}_m, \mathbf{q}_m, \mathbf{c}_m) ξm=(αm,sm,qm,cm)，这些属性决定了不透明度、尺度、旋转和颜色。
图 2：InfiniSplat v2 前馈重建器的训练流程。冻结几何分支负责预测深度与相机参数，而可训练分支则负责预测高斯属性。经尺度对齐的真实相机数据用于构建点云；经过不透明度剪枝后，输入数据与大角度目标视图共同引导高斯分布的学习。
二、尺度对齐训练 (Scale-Aligned Training)
为了防止预测的反投影位姿误差导致与真实 (GT) 监督相机出现不对齐，模型对其平移尺度进行了对齐。
- 平均径向距离归一化 ：重建尺度 s n o r m s_{\mathrm{norm}} snorm 由反投影点的平均径向距离决定，深度被归一化为 D ˉ i = D ^ i / s n o r m \bar{D}i = \widehat{D}i / s{\mathrm{norm}} Dˉi=D i/snorm。
s n o r m = 1 ∣ V p t s ∣ ∑ j ∈ V p t s ∥ x j ∥ 2 s{\mathrm{norm}} = \frac{1}{\vert{}\mathcal{V}{\mathrm{pts}}\vert{}} \sum{j \in \mathcal{V}_{\mathrm{pts}}} \Vert{}\mathbf{x}_j\Vert{}_2 snorm=∣Vpts∣1j∈Vpts∑∥xj∥2 - 反投影对齐：对 GT 相机进行相似变换，使其匹配归一化后的预测相机中心。
- 位置计算 ：随后使用尺度对齐后的 GT 相机对归一化预测深度进行反投影，从而确定候选点位置 μ i , u c a n d \boldsymbol{\mu}{i,\mathbf{u}}^{\mathrm{cand}} μi,ucand（2D像素到3D空间的反投影）：
μ i , u c a n d = D ˉ i ( u ) R ~ i ⋆ ( K i ⋆ ) − 1 u + t ~ i ⋆ \boldsymbol{\mu}{i,\mathbf{u}}^{\mathrm{cand}} = \bar{D}_i(\mathbf{u}) \widetilde{\mathbf{R}}_i^{\star} (\mathbf{K}_i^{\star})^{-1} \mathbf{u} + \widetilde{\mathbf{t}}_i^{\star} μi,ucand=Dˉi(u)R i⋆(Ki⋆)−1u+t i⋆
三、随机大角度视图监督 (Random Large-Angle View Supervision)
如果仅从接近输入视图的角度来监督模型，高斯球的形状将无法得到充分约束。
- 角距评分 ：模型根据候选目标相机与最近输入方向之间的夹角对其进行评分，刻意采样具有较大方向差异的视图 。 评分公式：对于具有光轴 f v \mathbf{f}v fv 的候选视图 v v v，其角距 a ( v , C ) a(v, \mathcal{C}) a(v,C) 的计算如下： a ( v , C ) = min i ∈ C arccos ( f v ⊤ f i ) a(v, \mathcal{C}) = \min{i \in \mathcal{C}} \arccos(\mathbf{f}_v^{\top} \mathbf{f}_i) a(v,C)=i∈Cminarccos(fv⊤fi)
- 形状引导 ：通过利用这些采样的大角度目标集进行渲染监督，该方法通过跨越不同视图的投影，有效地引导了对 高斯尺度和方向 的学习。
四、可学习的渲染反馈细化 (Learned Rendering-Feedback Refinement)
在初始的前馈构建之后，InfiniSplat v2 采用了一种循环机制，利用输入视图的渲染反馈来细化高斯属性。
- 梯度计算 ：在每个更新步骤 t t t，场景被渲染至输入视图中，以聚合关于高斯属性的重建损失梯度 g t \mathbf{g}^t gt。
g t = R e n d e r G r a d ( G t ; I F , Π F f b ) \mathbf{g}^t = \mathrm{RenderGrad}(\mathcal{G}^t; \mathcal{I}{\mathcal{F}}, \boldsymbol{\Pi}{\mathcal{F}}^{\mathrm{fb}}) gt=RenderGrad(Gt;IF,ΠFfb) - 特征编码 ：编码器 E E E 将这些停止梯度 (stop-gradient) 的渲染梯度与当前场景及投影的 DPT 特征 f \mathbf{f} f 结合起来，从而构建出每个高斯球的特征 h t \mathbf{h}^t ht。
h t = E ( G t , s g ( g t ) , f ) \mathbf{h}^t = E(\mathcal{G}^t, \mathrm{sg}(\mathbf{g}^t), \mathbf{f}) ht=E(Gt,sg(gt),f) - 循环更新 ：一个共享的循环 KNN Transformer U U U 会聚合空间邻居特征以预测属性残差 Δ ξ m t \Delta \boldsymbol{\xi}_m^t Δξmt，并将该残差用于更新高斯属性，同时在所有步骤中严格保持中心位置 μ m \boldsymbol{\mu}_m μm 固定不变。
( Δ ξ m t , b m t + 1 ) = U ( ξ m t , h m t , b m t ) (\Delta \boldsymbol{\xi}_m^t, \mathbf{b}_m^{t+1}) = U(\boldsymbol{\xi}_m^t, \mathbf{h}_m^t, \mathbf{b}_m^t) (Δξmt,bmt+1)=U(ξmt,hmt,bmt) ξ m t + 1 = A p p l y ( ξ m t , Δ ξ m t ) , μ m t + 1 = μ m 0 \boldsymbol{\xi}_m^{t+1} = \mathrm{Apply}(\boldsymbol{\xi}_m^t, \Delta \boldsymbol{\xi}_m^t), \quad \boldsymbol{\mu}_m^{t+1} = \boldsymbol{\mu}_m^0 ξmt+1=Apply(ξmt,Δξmt),μmt+1=μm0
b m t \mathbf{b}_m^t bmt 是循环神经网络机制中的循环隐藏状态
实验
实验设置 (Experimental Setup)
- 数据集划分：模型在 Hypersim、Raw3D 和 ScanNet++ 混合数据集上进行训练，确保训练集和验证集的场景互不重叠。评估在 DL3DV、ETH3D、NRGBD、Mip-NeRF 360、RealEstate10K (RE10K) 和 DTU 这六个数据集上进行。
- 基线对比：评估对象包括 tttLRM、AnySplat、C3G、DA3-GS、DepthSplat、QuerySplat、ReSplat、TokenGS、VolSplat 和 WorldMirror 2.0。
- 评估协议：测试采用 N ∈ { 4 , 8 , 16 } N \in \{4, 8, 16\} N∈{4,8,16} 个输入视图和 4 个保留的目标视图，所有对比方法使用完全一致的视图划分。
- 推理模式：同一个训练好的模型被分别用于"条件位姿 (pose-conditioned)"和"无位姿 (pose-free)"两种设置的评估。在结果中，"Ours"代表一次性前馈输出，而"Ours*"代表包含了 3 个学习渲染反馈细化步骤的结果。主要感知质量评估指标为 LPIPS 和 DISTS。
核心结果与对比 (Comparison with SOTA)。
- 定量指标突破：在六个数据集上，该前馈模型在两种位姿设置下均取得了最优的平均 LPIPS 和 DISTS 分数 。在条件位姿下，LPIPS 较 ReSplat 提升了 25.8%，DISTS 较 WorldMirror 2.0 提升了 32.9%。在无位姿设置下，这两项指标较 WorldMirror 2.0 分别提升了 19.5% 和 30.7%。
- 定性表现：该方法在物体级别和场景级别的重建中都能高度保留精细的纹理和结构细节。
表 1：在六个数据集上进行的新型视图合成结果。评分基于 N = 4、8、16 个等量样本的平均值；各数据集的平均权重相同。Ours/Ours∗：分别表示前向传播/优化后。每个输入设置下，第一、第二及第三项均予以突出显示；最优结果以粗体标出。
消融实验与深度分析 (Ablations and Analysis)
论文在 ETH3D 和 DTU 数据集上验证了四个核心设计的有效性：属性主干微调 (A)、几何冻结 (G)、GT相机反投影 © 和 大角度监督 (V)。
- 冻结几何分支的必要性 (G)：在图像重建监督过程中，如果解冻并微调几何分支 (w/o G) 或引入可学习的点位置偏移 (w/ O)，会导致评估指标恶化。与微调相比，冻结几何特征使 ETH3D 和 DTU 的 LPIPS 分别降低（改善）了 16.6% 和 23.2%。论文指出，位置更新往往会错误地去补偿属性预测的误差，导致局部模糊和深度畸变；而固定高斯中心点则有效切断了这一错误途径。 属性主干微调 (A)：微调最后 K = 10 K=10 K=10 个 Transformer 块（相比于 K = 0 K=0 K=0 不微调），使 ETH3D 的 LPIPS 降低了 1.1%，DTU 的 LPIPS 大幅降低了 20.8%。 真实相机反投影 ©：在训练时使用真实 (GT) 相机替代预测相机进行反投影，使得 DTU 数据集上的 LPIPS 显著下降了 36.1%。 大角度监督 (V)：相较于仅使用局部插值视图进行监督，引入大角度目标视图监督机制同时提升了 ETH3D 和 DTU 数据集上的 LPIPS 与 DISTS 表现。
