图1. ArtiFixer高效且可扩展地增强3DGS结果 。 给定初始重建结果、可选的参考视图及文本提示，该工具可通过自回归方法生成新的内容，同时保持与现有观测数据的高度一致性。ArtiFixer可在单次推理过程中直接生成数百个新视图，或作为伪监督数据用于优化底层三维重建效果。
ArtiFixer: Enhancing and Extending 3D Reconstruction with Auto-Regressive Diffusion Models
page: https://research.nvidia.com/labs/sil/projects/artifixer
目录
- 预备知识
- [一、双向训练（Bidirectional Training）](#一、双向训练（Bidirectional Training）)
- 二、因果蒸馏 (Causal Distillation)
- 三、实验
预备知识
3D Gaussian Splatting (3DGS)：场景被建模为一组各向异性的 3D 高斯图元（包括均值 μ j \mu_j μj、协方差 Σ j \Sigma_j Σj、不透明度 σ j \sigma_j σj、视角相关颜色 c j \mathbf{c}_j cj）。新视角渲染：高斯体投影到2D图像平面，按由前向后的深度顺序进行 Alpha 混合来渲染像素颜色：
C ( p ) = ∑ i α i c i ∏ k < i ( 1 − α k ) C(\mathbf{p}) = \sum_i \alpha_i \mathbf{c}i \prod{k<i} (1 - \alpha_k) C(p)=i∑αicik<i∏(1−αk)
Video Diffusion Models ( Flow Matching) ：学习一个常微分方程 (ODE) 轨迹，实现在两个任意端点分布 p s r c p_{src} psrc 和 p t g t p_{tgt} ptgt 之间的概率传输。具体通过拟合一个时间相关的向量场 v θ ( z t , t ) \mathbf{v}_\theta(\mathbf{z}_t, t) vθ(zt,t) 来实现。
训练过程 (Training)：
-
采样 ：分别从源分布和目标分布中采样端点 z 0 ∼ p s r c \mathbf{z}0 \sim p{src} z0∼psrc 和 z 1 ∼ p t g t \mathbf{z}1 \sim p{tgt} z1∼ptgt，并随机采样时间 t ∈ 0 , 1 t \in 0, 1 t∈0,1。
-
构建中间状态 (线性插值)：定义时刻 t t t 的潜在表示为： z t : = ( 1 − t ) z 0 + t z 1 \mathbf{z}_t := (1 - t)\mathbf{z}_0 + t\mathbf{z}_1 zt:=(1−t)z0+tz1
-
目标速度 (Target Velocity)：该线性轨迹对应的理想导数为： v t : = d z t d t = z 1 − z 0 \mathbf{v}_t := \frac{d\mathbf{z}_t}{dt} = \mathbf{z}_1 - \mathbf{z}_0 vt:=dtdzt=z1−z0
-
条件流匹配目标函数 (CFM Objective)：通过回归目标速度来优化网络 θ \theta θ： min θ E t , z 0 , z 1 ∥ v θ ( z t , t ) − v t ∥ 2 2 \min_\theta \mathbb{E}_{t, \mathbf{z}_0, \mathbf{z}1} \| \mathbf{v}\theta(\mathbf{z}_t, t) - \mathbf{v}_t \|_2^2 minθEt,z0,z1∥vθ(zt,t)−vt∥22
推理过程 (Inference )：从源分布中采样初始状态 z 0 ∼ p s r c \mathbf{z}0 \sim p{src} z0∼psrc，然后使用数值积分器（如 Euler 或 Heun 方法）沿学习到的 ODE 向量场从 t = 0 t = 0 t=0 积分到 t = 1 t = 1 t=1，最终得到目标分布的样本 z 1 ∼ p t g t \mathbf{z}1 \sim p{tgt} z1∼ptgt
一、双向训练（Bidirectional Training）
ArtiFixer的先修复,后蒸馏框架 ：首先 训练一个强大的双向流匹配模型（Bidirectional flow matching model）作为教师模型，学习如何将退化（模糊或有瑕疵）的初始3D渲染图像映射转换为清晰的高质量图像 。为了在未观测到的区域保持生成的多样性并防止模式崩溃（Mode collapse），模型巧妙地结合了不透明度信息与高斯噪声。随后，通过蒸馏技术，将教师模型的能力转移到一个更高效的因果自回归学生模型（Causal Autoregressive Model）中，这不仅可以直接用于生成新视角，还能反向用于优化底层的3D数据表示
修复模型 ：基于预训练的文本生成视频模型 ，冻结了Wan 2.1 的 VAE 和文本编码器， 注入物理条件（不透明度图 Opacity maps , O \mathbf{O} O 引导场景内容生成位置；Plücker raymaps, R \mathbf{R} R 实现未观测区域的相机控制）； O \mathbf{O} O 和 R \mathbf{R} R 绕过 VAE，通过 PixelUnshuffle 匹配视觉 Token 维度。 T r : = T s + f r ( PixelUnshuffle ( R ) ) T_r := T_s + f_r(\text{PixelUnshuffle}(\mathbf{R})) Tr:=Ts+fr(PixelUnshuffle(R)) T o : = T r + f o ( PixelUnshuffle ( O ) ) T_o := T_r + f_o(\text{PixelUnshuffle}(\mathbf{O})) To:=Tr+fo(PixelUnshuffle(O)) T s T_s Ts 是自注意力机制和层归一化后的 Token 集合。首先，将处理后的光线图 R \mathbf{R} R 融入，得到 T r T_r Tr；接着，再将不透明度图 O \mathbf{O} O 融入，最终得到用于后续生成的 Token T o T_o To。
不透明度混合 (Opacity Mixing) ：通过最大池化将不透明度图 O \mathbf{O} O 下采样为 O z \mathbf{O}z Oz，并利用它作为权重，**将退化的渲染隐变量 z d e g z{deg} zdeg 与纯高斯噪声 ϵ \epsilon ϵ 进行混合** ： z m i x = O z z d e g + ( 1 − O z ) ϵ z_{mix} = \mathbf{O}z z{deg} + (1 - \mathbf{O}_z) \epsilon zmix=Ozzdeg+(1−Oz)ϵ在重建得很好的区域（ O z ≈ 1 \mathbf{O}z \approx 1 Oz≈1），模型主要依赖已有的渲染特征 z d e g z{deg} zdeg，保持结构的一致性；在存在大片空白或未观测到的区域（ O z ≈ 0 \mathbf{O}z \approx 0 Oz≈0），模型主要依赖高斯噪声 ϵ \epsilon ϵ，从而触发生成先验。原因：直接从高斯噪声开始生成，会与初始重建的结构不一致；直接从退化的渲染隐变量 ( z d e g z{deg} zdeg) 开始，完全未知的区域源分布会坍缩为零（Dirac mass at zero），导致模型失去生成高质量新内容的能力（即模式崩溃）。
数据集构建与相机选择 (Data Curation)：基于 DL3DV-10K 数据集，利用大跨度相机位姿，刻意制造观测缺失。 相机位姿距离度量 ，可以筛选出距离最远的相机组合： d i j = θ i j π + λ t ∥ t i − t j ∥ 2 r ˉ d_{ij} = \frac{\theta_{ij}}{\pi} + \lambda_t \frac{\| \mathbf{t}_i - \mathbf{t}_j \|2}{\bar{r}} dij=πθij+λtrˉ∥ti−tj∥2 第一项 θ i j / π \theta{ij}/\pi θij/π 是旋转角度（SO(3) 测地线角度）的归一化差异；第二项是平移向量 t \mathbf{t} t 的 L2 范数差异。 r ˉ \bar{r} rˉ 是相机位置 L2 范数的平均值（用于缩放）， λ t = 1 \lambda_t = 1 λt=1 确保旋转和平移项处于同一数量级。
条件流匹配损失 (Conditional flow matching loss , L c f m \mathcal{L}{cfm} Lcfm)，用于预测增强的隐变量 z e n h z{enh} zenh。为防止模型过度依赖已知输入，训练加Dropout 机制：以 10% 的概率丢弃文本提示，并随机丢弃一部分输入帧（RGB 和不透明度图清零），强迫模型仅依靠光线图和参考视图去重建真实场景。
二、因果蒸馏 (Causal Distillation)
将训练好的双向教师模型，转化并压缩为一个高效的因果自回归模型 ，从而实现 快速、无限长度的高质量新视角生成。
初始化：不同于以往先用教师模型生成大量的ODE轨迹数据，直接使用双向教师模型的权重来初始化因果模型 。训练中应用了"块因果掩码 (block-causal mask)"，并为输入的每一帧添加不同程度的噪声干扰（借鉴 Diffusion Forcing）
自回归展开 (Autoregressive rollout)：类似于 Self Forcing，通过 KV 缓存，基于已生成的视频段，按顺序（因果地）生成后续的视频块 。自回归过程中，加入 Dropout 机制；应用分布匹配蒸馏DMD技术，模型只需少步就能出图，比如4步。
长视频生成：基于物理信号注入，可以克服"误差累积"，同时避免极其耗时的"长序列训练"。训练只需使用短序列；推理只需使用滚动的 KV 缓存即可生成任意长度视频。
3D 蒸馏 (3D distillation)：现有的渐进式蒸馏（视图生成和 3D 重建交替进行）非常耗时。由于本方法能一致性地生成任意数量的帧，作者采取了一种更简单高效的方法：单遍生成 （在一次前向传递中生成所有需要的新视角图像），然后应用标准 3D 重建。
三、实验
实验评估了该方法的三种变体：ArtiFixer （直接从自回归生成器输出新视角）、ArtiFixer3D （将生成结果反向重构为底层三维结构）以及ArtiFixer3D+（在ArtiFixer3D基础上作为后处理步骤重新应用自回归模型）
实验细节 。在PyTorch框架中实现，在128块H100系列GPU上进行训练，每块GPU处理一个批次 （总计128个批次）。采用FlashAttention-3加速提升效率。主实验中，使用AdamW优化器以1×10⁻⁵的学习率对双向模型进行了15,000次迭代微调；随后以相同学习率初始化因果模型进行5,000次迭代，再通过自回归滚动训练和DMD训练完成2,000次迭代（总耗时约15,000 GPU小时），其中伪评分函数的学习率设为2 × 10−6 for the generator and 4 × 10⁻⁷。为降低计算成本，在消融实验中采用64块GPU上的截断训练方案（10,000+2,000+600次迭代，总耗时约4,000 GPU小时）。模型初始重建采用结合 MCMC 稠密化的3DGUT算法。测试阶段根据Difix3D+协议（表1）选取 𝐾 =6个均匀采样的参考视图，其余情况则使用所有可用输入视图（表2和表3）。提示词由视觉语言模型生成（详见第G节）。基线模型均按照其标准评估流程进行验证。
图5. ArtiFixer各版本的对比。最显著的差异出现在严重损坏区域。ArtiFixer3D通过明确的三维一致性处理提升了与源图像的一致性，并缓解了短暂性损坏（中间），但会牺牲部分锐度；而ArtiFixer3D+则能恢复这种锐度损失。
表4. 诊断指标。我们在Mip-NeRF 360上评估重建质量。采用去噪处理的输入渲染图像而非通过通道拼接进行条件化处理，对于生成与源图像一致的输出结果至关重要。
图 7. 文本到视频的生成。为展示模型的生成能力，仅使用 text prompt 即可生成视频；通过透明度混合技术处理后，其画质与基础模型Wan相当。