论文阅读--Orient Anything

通过渲染3D模型来学习不同方向下物体的外观,并从单张和自由视角的图像中估计物体方向

1. 数据生成:基于 3D 渲染构建大规模方向标注数据集

- 数据来源:

使用 Objaverse 数据库中的高质量 3D 模型,进行筛选和预处理。

- 筛选规范:

仅保留处于规范姿态的模型,过滤掉倾斜模型(通过 PCA 判断)。

- 方向标注流程:
  • 渲染模型在 x/-x/y/-y 四个方向和俯视角;

  • 利用先进视觉语言模型(如 Gemini-1.5-pro)判断哪个角度是"正面";

  • 结合对称性分析避免错误(通过图像结构相似性计算);

  • 对于对称物体,标记为"无方向"。

- 渲染过程:
  • 使用球坐标(θ 极角,φ 方位角,δ 相机旋转角)定义方向;

  • 每个模型从随机角度渲染 40 张图像,图像大小 512x512;

  • 共构建包含200万张带方向注释图像的数据集。


2. 学习目标:方向概率分布拟合(核心创新)

背景问题:

直接使用 L2 回归预测角度难以收敛,且分类忽略了相邻角度间的关系。

核心方法:

将角度预测转化为概率分布拟合问题,分别建模三种角度(极角θ、方位角φ、旋转角δ):

  • 将 360° 或 180° 区间离散为每度一类;

  • 构建高斯分布(极角)或环形高斯分布(方位角、旋转角)作为目标;

  • 使用交叉熵损失函数对分布进行拟合训练。

推理策略:
  • 输出三个分布;

  • 使用最大概率对应角度作为预测值;

  • 若模型判断该物体为"无方向",则不输出具体角度。


3. 合成到真实迁移策略(Synthetic-to-Real Transfer)

为解决模型从渲染图像迁移到真实图像的困难,作者引入两种策略:

(1)模型初始化:
  • 采用 DINOv2(在真实图像上预训练,感知精细)作为视觉编码器初始化;

  • 明显优于 MAE、CLIP 等方案。

(2)数据增强:
  • 使用随机裁剪模拟物体遮挡;

  • 在推理时,使用分割掩码裁剪目标,减少干扰;

  • 增强合成图像与真实图像之间的风格一致性。

相关推荐
张较瘦_4 小时前
[论文阅读] 软件工程 | 自适应CPS中的人机协作与伦理
论文阅读·软件工程
张较瘦_6 小时前
[论文阅读] 软件工程 | 一篇关于开源许可证管理的深度综述
论文阅读·开源·软件工程
Booksort6 小时前
【论文笔记】MBB-MOGWO: Modified Boltzmann-Based Multi-Objective Grey Wolf Optimizer
论文阅读
张较瘦_18 小时前
[论文阅读] 人工智能 | 读懂Meta-Fair:让LLM摆脱偏见的自动化测试新方法
论文阅读·人工智能
李加号pluuuus1 天前
【论文阅读】CogView: Mastering Text-to-Image Generation via Transformers
论文阅读
李加号pluuuus1 天前
【论文阅读】CogVideoX: Text-to-Video Diffusion Models with An Expert Transformer
论文阅读·深度学习·transformer
0x2112 天前
[论文阅读]Tensor Trust: Interpretable Prompt Injection Attacks from an Online Game
论文阅读·prompt
s1ckrain3 天前
【论文阅读】VARGPT-v1.1
论文阅读·多模态大模型·统一生成模型
Catching Star3 天前
【论文笔记】【强化微调】Vision-R1:首个针对多模态 LLM 制定的强化微调方法,以 7B 比肩 70B
论文阅读·强化微调
王上上3 天前
【论文阅读41】-LSTM-PINN预测人口
论文阅读·人工智能·lstm