单幅图像合成 360° 3D 场景的新方法:PanoDreamer,可同时生成全景图像和相应的深度信息。

论文介绍了一种从单幅图像合成 360° 3D 场景的新方法。该方法以连贯的方式生成全景图及其相应的深度,解决了现有最先进方法(如 LucidDreamer 和 WonderJourney 的局限性。这些方法按照生成轨迹依次添加细节,通常在循环回输入图像时导致可见的接缝。相比之下,该方法可确保整个 360° 场景的一致性,如图所示。黄色条显示每个结果中与输入相对应的区域。

相关链接

论文介绍

PanoDreamer:从单个图像合成 3D 全景

论文提出一种从单个输入图像生成连贯 360° 3D 场景的新颖方法PanoDreamer。与顺序生成场景的现有方法不同,该方法将问题描述为单图像全景和深度估计。一旦获得连贯的全景图像及其相应的深度,就可以通过修复小的遮挡区域并将其投影到 3D 空间来重建场景。论文主要贡献是将单图像全景和深度估计制定为两个优化任务,并引入交替最小化策略来有效解决其目标。该方法在一致性和整体质量方面优于单图像 360° 场景重建的现有技术。

单图像全景生成

论文使用修复扩散模型解决单图像全景生成问题,将其框架为通过交替最小化策略解决的优化任务。在迭代过程中,中心的输入纹理逐渐向外传播。

全景与多重扩散的比较

全景深度估计

与全景图生成类似,使用交替最小化来对齐圆柱形全景图的重叠单眼深度图块,从而能够估计一致的 360° 深度图。

3D 场景与其他方法的比较

将该方法 PanoDreamer(右)与基线方法(左)的渲染进行比较。尝试选择不同的方法和场景!

结论

论文提出了一种从单个输入图像生成 360° 3D 场景的新方法。该方法首先生成全景图及其相应的深度图。在修复遮挡区域后,这些图像用于优化 3DGS 表示,从中可以渲染新视图。为了创建一个连贯且全局一致的全景图,论文将任务设计为具有两个项的优化问题,并通过交替最小化策略有效地解决它。此外,论文提出使用现有单目深度估计方法估计全景图深度的问题作为优化,并使用交替最小化来解决它。大量实验表明,该方法在全景图生成和重建 3D 场景方面都优于最先进的方法。

相关推荐
朴拙数科8 分钟前
艺术字体AI生成阿里云WordArt锦书、通义万相、SiliconFlow、Pillow+OpenCV本地生成艺术字体
人工智能·阿里云·pillow
听风吹等浪起18 分钟前
NLP实战(4):使用PyTorch构建LSTM模型预测糖尿病
人工智能·pytorch·自然语言处理·lstm
敖云岚33 分钟前
【AI】SpringAI 第五弹:接入千帆大模型
java·大数据·人工智能·spring boot·后端
三道杠卷胡42 分钟前
【AI News | 20250424】每日AI进展
人工智能·pytorch·python·语言模型·github
追逐☞43 分钟前
机器学习(9)——随机森林
人工智能·随机森林·机器学习
pljnb1 小时前
长短期记忆网络(LSTM)
人工智能·rnn·lstm
何双新1 小时前
第1讲:Transformers 的崛起:从RNN到Self-Attention
人工智能·rnn·深度学习
爱的叹息1 小时前
通过AI工具或模型创建PPT的不同方式详解,结合 Assistants API、DALL·E 3 等工具的功能对比及表格总结
人工智能·powerpoint
AIGC大时代1 小时前
高质量学术引言如何妙用ChatGPT?如何写提示词
人工智能·深度学习·chatgpt·学术写作·chatgpt-o3·deep reaserch
zenRRan2 小时前
综述 | GUI Agent:让AI学会「玩手机」的新革命
人工智能