MVDiffusion | 领取你的建筑家具图纸设计师

MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion



Abstract

  • 全景图生成:输入文本提示或者文本图像条件,生成8个视角关联的图像,即可拼接成一张全景图 panaroma
  • 多视角深度图生成纹理网格:通过深度图生成 3D geometry mesh with texture

Contributions

  • 根据文本描述,MVDiffusion 可生成具有高分辨率和丰富内容的整体一致的多视角图像,这对全景生成和多视角深度图像生成等实际任务大有裨益。
  • Image generation

  • 3D content generation

Methodology

Overview

Text-conditioned generation model

  • 8个视角需要8个文本提示
  • 每张图像的latents初始化为独立的高斯噪声
  • 在去噪步,每个隐层噪声喂给多分支的UNet
  • 最后通过SD的VAE Decoder解码成多视角图像

Correspondence-aware Attention

  • 目的是加强多视角特征图的连续性 consistency
  • 借鉴ControlNet,用零卷积初始化为0
  • Source和Target的匹配点问题

    • 定义了KXK的领域限制,一般K=3或者K=1效率比较高
    • 位置坐标不是整数,而是通过双线性插值得到的浮点数
    • l是第l个视角 l属于[0,N]
    • 计算采用CA标准计算 WQ, WK, and WV are the learnable weights of query, key and value matrices
    • 最关键是:将S和S*的位置差分增加到position encoding γ(),因为位移提供了局部邻域的相对位置

Image&text-conditioned generation model

  • Image&text-conditioned generation model
    • 1个条件图,生成7个目标图像即可
    • SD的inpainting model作为base model,再加上CAA
  • Multi-view depth-to-image generation
    • 从深度图中提取关键帧key-frame
    • 通过给定相机pose和帧外插生成图像

Experiments

  • 全景图
  • 深度图

Demos

  • 布局明确
  • 卡通风格 cartoon
  • 油画风格 oil painting

Conclusions

  • 引入了CAA匹配点感知注意力机制 将多视角图像生成的连续性进行了强关联(匹配点)
  • 在建筑、室内设计行业,可以通过文本和图像条件直接生成全景图和3D室内模型,大大简化图纸设计工作,而且在家具布局layout和风格style上具有较好的生成表现

References

相关推荐
懒惰才能让科技进步12 分钟前
从零学习大模型(十二)-----基于梯度的重要性剪枝(Gradient-based Pruning)
人工智能·深度学习·学习·算法·chatgpt·transformer·剪枝
Ni-Guvara25 分钟前
函数对象笔记
c++·算法
泉崎1 小时前
11.7比赛总结
数据结构·算法
你好helloworld1 小时前
滑动窗口最大值
数据结构·算法·leetcode
AI街潜水的八角2 小时前
基于C++的决策树C4.5机器学习算法(不调包)
c++·算法·决策树·机器学习
白榆maple2 小时前
(蓝桥杯C/C++)——基础算法(下)
算法
JSU_曾是此间年少2 小时前
数据结构——线性表与链表
数据结构·c++·算法
此生只爱蛋3 小时前
【手撕排序2】快速排序
c语言·c++·算法·排序算法
咕咕吖3 小时前
对称二叉树(力扣101)
算法·leetcode·职场和发展
九圣残炎4 小时前
【从零开始的LeetCode-算法】1456. 定长子串中元音的最大数目
java·算法·leetcode