MVDiffusion | 领取你的建筑家具图纸设计师

MVDiffusion: Enabling Holistic Multi-view Image Generation with Correspondence-Aware Diffusion



Abstract

  • 全景图生成:输入文本提示或者文本图像条件,生成8个视角关联的图像,即可拼接成一张全景图 panaroma
  • 多视角深度图生成纹理网格:通过深度图生成 3D geometry mesh with texture

Contributions

  • 根据文本描述,MVDiffusion 可生成具有高分辨率和丰富内容的整体一致的多视角图像,这对全景生成和多视角深度图像生成等实际任务大有裨益。
  • Image generation

  • 3D content generation

Methodology

Overview

Text-conditioned generation model

  • 8个视角需要8个文本提示
  • 每张图像的latents初始化为独立的高斯噪声
  • 在去噪步,每个隐层噪声喂给多分支的UNet
  • 最后通过SD的VAE Decoder解码成多视角图像

Correspondence-aware Attention

  • 目的是加强多视角特征图的连续性 consistency
  • 借鉴ControlNet,用零卷积初始化为0
  • Source和Target的匹配点问题

    • 定义了KXK的领域限制,一般K=3或者K=1效率比较高
    • 位置坐标不是整数,而是通过双线性插值得到的浮点数
    • l是第l个视角 l属于[0,N]
    • 计算采用CA标准计算 WQ, WK, and WV are the learnable weights of query, key and value matrices
    • 最关键是:将S和S*的位置差分增加到position encoding γ(),因为位移提供了局部邻域的相对位置

Image&text-conditioned generation model

  • Image&text-conditioned generation model
    • 1个条件图,生成7个目标图像即可
    • SD的inpainting model作为base model,再加上CAA
  • Multi-view depth-to-image generation
    • 从深度图中提取关键帧key-frame
    • 通过给定相机pose和帧外插生成图像

Experiments

  • 全景图
  • 深度图

Demos

  • 布局明确
  • 卡通风格 cartoon
  • 油画风格 oil painting

Conclusions

  • 引入了CAA匹配点感知注意力机制 将多视角图像生成的连续性进行了强关联(匹配点)
  • 在建筑、室内设计行业,可以通过文本和图像条件直接生成全景图和3D室内模型,大大简化图纸设计工作,而且在家具布局layout和风格style上具有较好的生成表现

References

相关推荐
君义_noip23 分钟前
信息学奥赛一本通 1524:旅游航道
c++·算法·图论·信息学奥赛
烁34731 分钟前
每日一题(小白)动态规划篇5
算法·动态规划
独好紫罗兰32 分钟前
洛谷题单2-P5717 【深基3.习8】三角形分类-python-流程图重构
开发语言·python·算法
滴答滴答嗒嗒滴39 分钟前
Python小练习系列 Vol.8:组合总和(回溯 + 剪枝 + 去重)
python·算法·剪枝
lidashent1 小时前
数据结构和算法——汉诺塔问题
数据结构·算法
小王努力学编程1 小时前
动态规划学习——背包问题
开发语言·c++·学习·算法·动态规划
f狐0狸x3 小时前
【蓝桥杯每日一题】4.1
c语言·c++·算法·蓝桥杯
ん贤3 小时前
2023第十四届蓝桥杯大赛软件赛省赛C/C++ 大学 B 组(真题&题解)(C++/Java题解)
java·c语言·数据结构·c++·算法·蓝桥杯
梭七y3 小时前
【力扣hot100题】(022)反转链表
算法·leetcode·链表
威视锐科技6 小时前
软件定义无线电36
网络·网络协议·算法·fpga开发·架构·信息与通信