【论文精读】ACE-Zero

今天读一篇ECCV 2024 oral的文章,Scene Coordinate Reconstruction: Posing of Image Collections via Incremental Learning of a Relocalizer,文章提出方法从无位姿图像中恢复相机参数,作者来自Niantic和Oxford。

项目地址:ACE0 (ACE Zero)

文章目录

    • Abstract
    • [1 Introduction](#1 Introduction)
    • [2 Related Work](#2 Related Work)
      • [1. Structure-from-Motion (SfM)](#1. Structure-from-Motion (SfM))
      • [2. Visual Relocalization](#2. Visual Relocalization)
      • [3. Neural Scene Representation (NeRF相关)](#3. Neural Scene Representation (NeRF相关))
    • [3 Method](#3 Method)
      • [1. 场景坐标回归 (Scene Coordinate Regression, SCR)](#1. 场景坐标回归 (Scene Coordinate Regression, SCR))
      • [2. 增量训练流程](#2. 增量训练流程)
      • [3. Calibration Refinement](#3. Calibration Refinement)
      • [4. Initialization](#4. Initialization)
    • [4 Experiments](#4 Experiments)
      • [0. 数据集](#0. 数据集)
      • [1. 比较方法](#1. 比较方法)
      • [2. 评估方式](#2. 评估方式)
      • [3. 结果](#3. 结果)
    • [5 Limitations and Conclusion](#5 Limitations and Conclusion)

Abstract

本文提出了一种基于visual relocalizer的新颖结构,从无位姿图像中恢复相机参数(姿态和内参)。不同于传统基于特征匹配的SfM(如COLMAP),作者将SfM过程重新解释为基于 场景坐标回归 (Scene Coordinate Regression) 的增量重定位问题。该方法能无需位姿先验、高效地从上千张图像中重建隐式场景表示,并能达到接近传统SfM的姿态估计精度,最终通过新视角合成验证其效果。

1 Introduction

  • 背景:SfM长期以来依赖局部特征匹配,如SIFT等,虽然精度高但依赖明确的特征和大量匹配。
  • 挑战 :近年来,NeRF等神经隐式表示方法崛起,但基于学习的SfM方法存在 需要位姿先验顺序输入无法扩展到大规模数据 的问题。
  • 创新点
    • 增量式SfM 重新定义为 视觉重定位器 的反复应用与优化过程。
    • 提出 ACE0 框架,从一张图像出发,无需位姿先验,迭代式优化图像的相机参数与隐式场景。

1. Structure-from-Motion (SfM)

  • 经典SfM基于图像特征匹配与三角化,结合Bundle Adjustment。
  • Incremental SfM 从少量图像出发,逐步扩展。
  • Global SfM 同步估计所有图像位姿(如运动/旋转平均)。
  • 现有挑战:特征匹配昂贵、对初始化敏感、难以扩展。

2. Visual Relocalization

  • 场景坐标回归 (Scene Coordinate Regression) 能将图像像素直接预测为3D坐标,从而通过PnP+RANSAC估计相机位姿。
  • 现有学习方法如ACE虽快但需位姿监督。
  • 本文使场景坐标回归 无需位姿先验,通过自监督实现。

3. Neural Scene Representation (NeRF相关)

  • NeRF虽擅长新视角合成,但需要已知位姿,且训练慢。
  • 本文方法比NeRF类方法训练速度快。

3 Method

目标:从一组 无位姿RGB图像 中重建场景,并估计所有图像的 相机位姿和内参

输入:

  • 一组无序 RGB 图像 I = { I i } \mathcal{I} = \{I_i\} I={Ii},未知相机内外参。

输出:

  • 每张图像的相机参数 H = { ( K i , T i ) } \mathcal{H} = \{(K_i, T_i)\} H={(Ki,Ti)}:
  • 内参 K i K_i Ki(焦距等, 3 × 3 3 \times 3 3×3 矩阵)。
  • 外参 T i T_i Ti(rotation和translation, 3 × 4 3 \times 4 3×4 矩阵)。

整个pipeline如下图:

1. 场景坐标回归 (Scene Coordinate Regression, SCR)

  • 输入图像块,输出对应3D坐标。
  • 通过预测的2D-3D点对,结合PnP+RANSAC估计相机位姿。
  • 无需已知位姿,通过自监督(重投影误差)优化。

2. 增量训练流程

  • 从单张图像+初步深度 (如 ZoeDepth) 开始训练SCR。
  • 每一轮:
    1. Relocalization: 使用当前SCR尝试为更多图像估计位姿。
    2. Neural Mapping: 使用新增图像优化SCR,联合优化相机位姿和场景坐标回归模型。
    3. Pose Refinement: 通过MLP对位姿进一步微调以减少重投影误差。

3. Calibration Refinement

  • 自动优化焦距,假设主点居中,无失真。
  • 以全图像共享焦距为假设,逐步调整以拟合场景。

4. Initialization

  • 随机选择起始图像,结合深度初始化。
  • 如果起始图像不佳,会影响重建,因此尝试多个种子选取效果最佳的进行重建。

4 Experiments

0. 数据集

  • 7-Scenes(室内、RGB-D、带伪GT位姿)
  • Mip-NeRF 360(小规模全景场景)
  • Tanks and Temples(大规模、室内外混合)

1. 比较方法

  • COLMAP(传统SfM)
  • RealityCapture(商业SfM工具)
  • NeRF系列(NoPe-NeRF、BARF)
  • DUSt3R(学习型SfM)

2. 评估方式

由于缺乏真实GT位姿,使用 新视角合成 (Novel View Synthesis) 评估,训练Nerfacto基于估计位姿渲染测试图像,计算PSNR、SSIM等。

3. 结果



结论:ACE0在速度和精度之间取得了平衡,重建速度远超基于特征的方法,精度接近COLMAP,显著优于现有NeRF-based和learning-based SfM方法。

5 Limitations and Conclusion

不足:

  • 重复结构:对于如楼梯等重复纹理区域,场景坐标预测存在歧义。
  • 大规模场景:单个MLP难以表达特别大的空间,需考虑后续分块等方法。
  • 极端视角/光照变化:在大视差或昼夜变化下,重定位困难。
  • 相机模型:目前仅支持针孔模型,未处理畸变参数。

总结:

ACE0 提供了一种全新的 SfM 思路:

  • 无需特征匹配,无需位姿先验。
  • 仅凭RGB图像即可重建,适用于数千图像大规模场景。
  • 未来工作包括:增强重复结构处理、适应更复杂相机模型、提升极端视角重定位性能。
相关推荐
zskj_zhyl40 分钟前
让科技之光,温暖银龄岁月——智绅科技“智慧养老进社区”星城国际站温情纪实
大数据·人工智能·科技·生活
阿扬别林1 小时前
用最简单的python语法来利用机器学习算法预测药物分子的xlogp
人工智能
码蜂工社AI智能体1 小时前
手把手教你Coze 开发平台开源本地部署详细教程(常见问题合集篇)
人工智能
CoovallyAIHub1 小时前
无人机图像+深度学习:湖南农大团队实现稻瘟病分级检测84%准确率
深度学习·算法·计算机视觉
TiAmo zhang1 小时前
深度学习与图像处理案例 │ 图像分类(智能垃圾分拣器)
图像处理·深度学习·分类
CodeCraft Studio2 小时前
图像处理控件Aspose.Imaging教程:使用 C# 编程将 CMX 转换为 PNG
图像处理·人工智能·c#·aspose·png·图片格式转换·cmx
闲看云起2 小时前
从矩阵表示到卷积神经网络(CNN)与循环神经网络(RNN)
人工智能·rnn·矩阵·cnn
阿群今天学习了吗2 小时前
RNN、LSTM、Transformer推荐博文
人工智能·笔记·python·学习·算法
一水鉴天2 小时前
关于“PromptPilot” 之4 -目标系统软件架构: AI操作系统设计
人工智能
柴 基2 小时前
Visual Studio Code 使用指南 (2025年版)
人工智能·pytorch·python