单张照片可生成写实3D头部模型!Adobe提出FaceLift,从单一的人脸图像中重建出360度的头部模型。

FaceLift是Adobe和加州大学默塞德分校推出的单图像到3D头部模型的转换技术,能从单一的人脸图像中重建出360度的头部模型。FaceLift基于两阶段的流程实现:基于扩散的多视图生成模型从单张人脸图像生成一致的侧面和背面视图;生成的视图被输入到GS-LRM重建器中,产出详细的3D高斯表示。

FaceLift能精确保持个体的身份特征,生成具有精细几何和纹理细节的3D头部模型。FaceLift支持视频输入,实现4D新视图合成,能与2D面部重动画技术无缝集成,实现3D面部动画。

相关链接

论文介绍

FaceLift是一种新颖的前馈方法,可从单张图像快速、高质量地重建 360 度头部。流程首先采用多视图潜在扩散模型,该模型可从单个面部输入生成一致的头部侧面和背面视图。然后,这些生成的视图作为 GS-LRM 重建器的输入,GS-LRM 重建器使用高斯 Splats 生成全面的 3D 表示。为了训练系统,使用了合成的 3D 人体头部资产开发了一个多视图渲染数据集。基于扩散的多视图生成器专门在合成头部图像上进行训练,而 GS-LRM 重建器在 Objaverse 上进行初始训练,然后在合成头部数据上进行微调。FaceLift擅长在重建过程中保留身份和维持视图一致性。尽管仅在合成数据上进行训练,但我们的方法仍表现出对真实世界图像的显著泛化能力。通过大量的定性和定量评估表明FaceLift在 3D 头部重建方面的表现优于最先进的方法,凸显了其实用性和在真实图像上的稳健性能。除了单幅图像重建外,FaceLift还支持视频输入以进行 4D 新颖视图合成,并与 2D 动画技术无缝集成以实现 3D 面部动画。

方法

FaceLift概述。 给定一张人脸图像作为输入,我们训练一个图像调节的多视图扩散模型来生成覆盖整个头部的全新视图。通过利用预先训练的权重和高质量的合成数据,我们的多视图潜在扩散模型可以以高保真度和多视图一致性幻化出人头的未见视图。然后,我们对 GS-LRM 进行微调,它将多视图图像及其相机姿势作为输入,并生成 3D 高斯图块来表示人头。生成的 3D 高斯表示支持全头部全新视图合成。

结果

单幅图像到 3D 头部

FaceLift 是一种前馈方法,它将单个面部图像提升为具有保留身份特征的详细 3D 重建。

视频作为 4D 新视图合成的输入

给定视频作为输入,FaceLift 单独处理每一帧并生成 3D 高斯序列,从而实现 4D 新颖视图合成。

FaceLift 可以与LivePortrait 等 2D 面部动画方法结合,实现 3D 面部动画。

结论

FaceLift是一种前馈方法,可将单个面部图像提升为具有保留身份特征的详细 3D 重建。FaceLift 使用多视图扩散来生成不可观察的视图,并使用 GS-LRM 来重建 3D 高斯图,从而实现高质量的新视图合成。为了克服捕捉现实世界多视图人头图像的困难,渲染了高质量的合成数据进行训练,并表明,尽管仅使用合成数据进行训练,FaceLift 仍可以从现实世界捕获的图像中高保真地重建 3D 头部。与基线相比,FaceLift 生成具有更精细几何和纹理细节的 3D 头部表示,并表现出更好的身份保存能力。

相关推荐
郝学胜-神的一滴1 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
塑料铲子1 小时前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
火山引擎开发者社区2 小时前
豆包工作,3 个月,800 万,20 亿
人工智能
Chuck.li2 小时前
AI 长篇创作工具选型:工作流对照与自测清单
人工智能·大模型·ai写作·网文作者·ai网文·豆包写作
aleimu2 小时前
Windows 11 右键打开 Cmder 2.0:从找不到菜单到默认使用 Cmder
前端·人工智能·后端
SwanArc技术笔记2 小时前
读技术文档,先用哪个 AI?模型指南筛选与 GPT-6.2 Astra 实操
人工智能
深海鱼在掘金2 小时前
深入浅出RAG——第21章:回顾与展望
人工智能
羲云网络2 小时前
GPT Image 2.6 GIF 交付排障:上线后为什么只剩第一帧?
图像处理·人工智能·前端开发·gif
安爹前沿AI2 小时前
Seedance 有个文档里没写的参数:开了码率涨 3.9 倍,费用一分没多
人工智能
深海鱼在掘金2 小时前
深入浅出RAG——第20章:端到端实战:企业级知识库问答系统
人工智能