MVDiffusion | 领取你的建筑家具图纸设计师

MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion



Abstract

  • 全景图生成:输入文本提示或者文本图像条件,生成8个视角关联的图像,即可拼接成一张全景图 panaroma
  • 多视角深度图生成纹理网格:通过深度图生成 3D geometry mesh with texture

Contributions

  • 根据文本描述,MVDiffusion 可生成具有高分辨率和丰富内容的整体一致的多视角图像,这对全景生成和多视角深度图像生成等实际任务大有裨益。
  • Image generation

  • 3D content generation

Methodology

Overview

Text-conditioned generation model

  • 8个视角需要8个文本提示
  • 每张图像的latents初始化为独立的高斯噪声
  • 在去噪步,每个隐层噪声喂给多分支的UNet
  • 最后通过SD的VAE Decoder解码成多视角图像

Correspondence-aware Attention

  • 目的是加强多视角特征图的连续性 consistency
  • 借鉴ControlNet,用零卷积初始化为0
  • Source和Target的匹配点问题

    • 定义了KXK的领域限制,一般K=3或者K=1效率比较高
    • 位置坐标不是整数,而是通过双线性插值得到的浮点数
    • l是第l个视角 l属于[0,N]
    • 计算采用CA标准计算 WQ, WK, and WV are the learnable weights of query, key and value matrices
    • 最关键是:将S和S*的位置差分增加到position encoding γ(),因为位移提供了局部邻域的相对位置

Image&text-conditioned generation model

  • Image&text-conditioned generation model
    • 1个条件图,生成7个目标图像即可
    • SD的inpainting model作为base model,再加上CAA
  • Multi-view depth-to-image generation
    • 从深度图中提取关键帧key-frame
    • 通过给定相机pose和帧外插生成图像

Experiments

  • 全景图
  • 深度图

Demos

  • 布局明确
  • 卡通风格 cartoon
  • 油画风格 oil painting

Conclusions

  • 引入了CAA匹配点感知注意力机制 将多视角图像生成的连续性进行了强关联(匹配点)
  • 在建筑、室内设计行业,可以通过文本和图像条件直接生成全景图和3D室内模型,大大简化图纸设计工作,而且在家具布局layout和风格style上具有较好的生成表现

References

相关推荐
Vacant Seat28 分钟前
贪心算法-跳跃游戏II
算法·游戏·贪心算法
夜松云37 分钟前
从对数变换到深度框架:逻辑回归与交叉熵的数学原理及PyTorch实战
pytorch·算法·逻辑回归·梯度下降·交叉熵·对数变换·sigmoid函数
八股文领域大手子42 分钟前
深入浅出限流算法(三):追求极致精确的滑动日志
开发语言·数据结构·算法·leetcode·mybatis·哈希算法
啊阿狸不会拉杆1 小时前
人工智能数学基础(一):人工智能与数学
人工智能·python·算法
一捌年1 小时前
java排序算法-计数排序
数据结构·算法·排序算法
freexyn2 小时前
Matlab自学笔记五十二:变量名称:检查变量名称是否存在或是否与关键字冲突
人工智能·笔记·算法·matlab
渭雨轻尘_学习计算机ing2 小时前
二叉树构建算法全解析
算法·程序员
C语言魔术师3 小时前
70. 爬楼梯
算法·动态规划
跳跳糖炒酸奶4 小时前
第二章、Isaaclab强化学习包装器(1)
人工智能·python·算法·ubuntu·机器人
许_安4 小时前
leetcode刷题日记——两数相加
算法·leetcode·职场和发展