StochSync:可在任意空间中生成360°全景图和3D网格纹理

StochSync方法可以用于在任意空间中生成图像,尤其是360°全景图和3D网格纹理。该方法利用了预训练的图像扩散模型,以实现零-shot生成,消除了对新数据收集和单独训练生成模型的需求。StochSync 结合了 Diffusion Synchronization(DS)和 Score Distillation Sampling(SDS)的优点,能够在条件较弱的情况下仍然生成高质量的图像。

使用 StochSync 生成的各类网格纹理和全景图,包括背景中的一张(环境映射图),它是一张 360°全景图。StochSync 扩展了在方形空间中训练的图像扩散模型的能力,能够在诸如圆柱体、球体、环面和网格表面等任意空间中生成图像。

相关链接

论文介绍

我们提出了一种名为 StochSync 的方法,用于生成任意空间中的图像------例如 360°全景图或 3D 表面上的纹理------该方法利用了一个预训练的图像扩散模型。主要的挑战在于弥合扩散模型理解的二维图像与图像生成的目标空间之间的差距。与那些在缺乏强条件或缺乏精细细节的情况下难以取得成效的方法不同,StochSync 结合了扩散同步和得分蒸馏采样的优势,即使在条件较弱的情况下也能有效运行。实验表明 StochSync 比之前的基于微调的方法表现更出色,尤其是在 360°全景图生成方面。

方法

StochSync方法的核心在于结合了Diffusion Synchronization和Score Distillation Sampling的优势,具体包括以下几个方面:

  • 最大随机性:在同步过程中引入最大随机性,优化了样本在不同实例空间之间的连贯性。这一策略通过调整噪声预测的方式,帮助消除样本间的接缝,提高了图像的整体流畅性。

  • 多步去噪计算:将传统的单步去噪预测替换为多步去噪过程,以提高生成样本的真实感和一致性。这种方法允许在每个时间步骤上进行更精确的样本预测,进而提升生成图像的细节。

  • 非重叠视图采样:在每个步骤中采用非重叠的视图采样策略,确保样本在时间上的同步,同时避免了由于视图重叠导致的真实感下降。这种方法通过交替采样不同的视图,提高了生成图像的质量。

360°全景生成

使用 PanFusion 生成全景图的定性结果提示。在左侧列中呈现了与先前工作的比较结果,而在右侧列中展示了与 StochSync 一起的消融测试案例。

L-MAGIC (Cai et al., 2024)和StochSync在水平特异性提示上的定性比较。

三维网格纹理的附加定性结果。

相关推荐
jonyleek39 分钟前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
MQ_SOFTWARE1 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融
生医转码,四海为家2 小时前
零基础-动手学深度学习-6.6 卷积神经网络(LeNet)
人工智能·深度学习·cnn
无名工程师2 小时前
AI 学习过程中各阶段的学习重点、时间规划以及不同方向的选择与建议等内容
人工智能·学习
WXX_s2 小时前
【OpenCV篇】OpenCV——03day.图像预处理(2)
人工智能·python·opencv·学习·计算机视觉
CoovallyAIHub2 小时前
避开算力坑!无人机桥梁检测场景下YOLO模型选型指南
深度学习·算法·计算机视觉
有才不一定有德2 小时前
深入剖析 MetaGPT 中的提示词工程:WriteCode 动作的提示词设计
人工智能·aigc·提示词工程
花月mmc3 小时前
CanMV-K230 AI学习笔记系列
人工智能·笔记·学习
3 小时前
3D碰撞检测系统 基于SAT算法+Burst优化(Unity)
算法·3d·unity·c#·游戏引擎·sat