单幅图像合成 360° 3D 场景的新方法:PanoDreamer,可同时生成全景图像和相应的深度信息。

论文介绍了一种从单幅图像合成 360° 3D 场景的新方法。该方法以连贯的方式生成全景图及其相应的深度,解决了现有最先进方法(如 LucidDreamer 和 WonderJourney 的局限性。这些方法按照生成轨迹依次添加细节,通常在循环回输入图像时导致可见的接缝。相比之下,该方法可确保整个 360° 场景的一致性,如图所示。黄色条显示每个结果中与输入相对应的区域。

相关链接

论文介绍

PanoDreamer:从单个图像合成 3D 全景

论文提出一种从单个输入图像生成连贯 360° 3D 场景的新颖方法PanoDreamer。与顺序生成场景的现有方法不同,该方法将问题描述为单图像全景和深度估计。一旦获得连贯的全景图像及其相应的深度,就可以通过修复小的遮挡区域并将其投影到 3D 空间来重建场景。论文主要贡献是将单图像全景和深度估计制定为两个优化任务,并引入交替最小化策略来有效解决其目标。该方法在一致性和整体质量方面优于单图像 360° 场景重建的现有技术。

单图像全景生成

论文使用修复扩散模型解决单图像全景生成问题,将其框架为通过交替最小化策略解决的优化任务。在迭代过程中,中心的输入纹理逐渐向外传播。

全景与多重扩散的比较

全景深度估计

与全景图生成类似,使用交替最小化来对齐圆柱形全景图的重叠单眼深度图块,从而能够估计一致的 360° 深度图。

3D 场景与其他方法的比较

将该方法 PanoDreamer(右)与基线方法(左)的渲染进行比较。尝试选择不同的方法和场景!

结论

论文提出了一种从单个输入图像生成 360° 3D 场景的新方法。该方法首先生成全景图及其相应的深度图。在修复遮挡区域后,这些图像用于优化 3DGS 表示,从中可以渲染新视图。为了创建一个连贯且全局一致的全景图,论文将任务设计为具有两个项的优化问题,并通过交替最小化策略有效地解决它。此外,论文提出使用现有单目深度估计方法估计全景图深度的问题作为优化,并使用交替最小化来解决它。大量实验表明,该方法在全景图生成和重建 3D 场景方面都优于最先进的方法。

相关推荐
美狐美颜sdk2 小时前
跨平台直播美颜SDK集成实录:Android/iOS如何适配贴纸功能
android·人工智能·ios·架构·音视频·美颜sdk·第三方美颜sdk
DeepSeek-大模型系统教程2 小时前
推荐 7 个本周 yyds 的 GitHub 项目。
人工智能·ai·语言模型·大模型·github·ai大模型·大模型学习
郭庆汝3 小时前
pytorch、torchvision与python版本对应关系
人工智能·pytorch·python
小雷FansUnion4 小时前
深入理解MCP架构:智能服务编排、上下文管理与动态路由实战
人工智能·架构·大模型·mcp
资讯分享周5 小时前
扣子空间PPT生产力升级:AI智能生成与多模态创作新时代
人工智能·powerpoint
叶子爱分享6 小时前
计算机视觉与图像处理的关系
图像处理·人工智能·计算机视觉
鱼摆摆拜拜6 小时前
第 3 章:神经网络如何学习
人工智能·神经网络·学习
一只鹿鹿鹿6 小时前
信息化项目验收,软件工程评审和检查表单
大数据·人工智能·后端·智慧城市·软件工程
张较瘦_6 小时前
[论文阅读] 人工智能 | 深度学习系统崩溃恢复新方案:DaiFu框架的原位修复技术
论文阅读·人工智能·深度学习
cver1236 小时前
野生动物检测数据集介绍-5,138张图片 野生动物保护监测 智能狩猎相机系统 生态研究与调查
人工智能·pytorch·深度学习·目标检测·计算机视觉·目标跟踪