MVDiffusion | 领取你的建筑家具图纸设计师

MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion



Abstract

  • 全景图生成:输入文本提示或者文本图像条件,生成8个视角关联的图像,即可拼接成一张全景图 panaroma
  • 多视角深度图生成纹理网格:通过深度图生成 3D geometry mesh with texture

Contributions

  • 根据文本描述,MVDiffusion 可生成具有高分辨率和丰富内容的整体一致的多视角图像,这对全景生成和多视角深度图像生成等实际任务大有裨益。
  • Image generation

  • 3D content generation

Methodology

Overview

Text-conditioned generation model

  • 8个视角需要8个文本提示
  • 每张图像的latents初始化为独立的高斯噪声
  • 在去噪步,每个隐层噪声喂给多分支的UNet
  • 最后通过SD的VAE Decoder解码成多视角图像

Correspondence-aware Attention

  • 目的是加强多视角特征图的连续性 consistency
  • 借鉴ControlNet,用零卷积初始化为0
  • Source和Target的匹配点问题

    • 定义了KXK的领域限制,一般K=3或者K=1效率比较高
    • 位置坐标不是整数,而是通过双线性插值得到的浮点数
    • l是第l个视角 l属于[0,N]
    • 计算采用CA标准计算 WQ, WK, and WV are the learnable weights of query, key and value matrices
    • 最关键是:将S和S*的位置差分增加到position encoding γ(),因为位移提供了局部邻域的相对位置

Image&text-conditioned generation model

  • Image&text-conditioned generation model
    • 1个条件图,生成7个目标图像即可
    • SD的inpainting model作为base model,再加上CAA
  • Multi-view depth-to-image generation
    • 从深度图中提取关键帧key-frame
    • 通过给定相机pose和帧外插生成图像

Experiments

  • 全景图
  • 深度图

Demos

  • 布局明确
  • 卡通风格 cartoon
  • 油画风格 oil painting

Conclusions

  • 引入了CAA匹配点感知注意力机制 将多视角图像生成的连续性进行了强关联(匹配点)
  • 在建筑、室内设计行业,可以通过文本和图像条件直接生成全景图和3D室内模型,大大简化图纸设计工作,而且在家具布局layout和风格style上具有较好的生成表现

References

相关推荐
想跑步的小弱鸡3 小时前
Leetcode hot 100(day 3)
算法·leetcode·职场和发展
xyliiiiiL4 小时前
ZGC初步了解
java·jvm·算法
爱的叹息5 小时前
RedisTemplate 的 6 个可配置序列化器属性对比
算法·哈希算法
独好紫罗兰5 小时前
洛谷题单2-P5713 【深基3.例5】洛谷团队系统-python-流程图重构
开发语言·python·算法
每次的天空6 小时前
Android学习总结之算法篇四(字符串)
android·学习·算法
请来次降维打击!!!6 小时前
优选算法系列(5.位运算)
java·前端·c++·算法
qystca7 小时前
蓝桥云客 刷题统计
算法·模拟
别NULL7 小时前
机试题——统计最少媒体包发送源个数
c++·算法·媒体
weisian1517 小时前
Java常用工具算法-3--加密算法2--非对称加密算法(RSA常用,ECC,DSA)
java·开发语言·算法
程序员黄同学8 小时前
贪心算法,其优缺点是什么?
算法·贪心算法