FaceLift是Adobe和加州大学默塞德分校推出的单图像到3D头部模型的转换技术,能从单一的人脸图像中重建出360度的头部模型。FaceLift基于两阶段的流程实现:基于扩散的多视图生成模型从单张人脸图像生成一致的侧面和背面视图;生成的视图被输入到GS-LRM重建器中,产出详细的3D高斯表示。
FaceLift能精确保持个体的身份特征,生成具有精细几何和纹理细节的3D头部模型。FaceLift支持视频输入,实现4D新视图合成,能与2D面部重动画技术无缝集成,实现3D面部动画。
相关链接
论文介绍
FaceLift是一种新颖的前馈方法，可从单张图像快速、高质量地重建 360 度头部。流程首先采用多视图潜在扩散模型，该模型可从单个面部输入生成一致的头部侧面和背面视图。然后，这些生成的视图作为 GS-LRM 重建器的输入，GS-LRM 重建器使用高斯 Splats 生成全面的 3D 表示。为了训练系统，使用了合成的 3D 人体头部资产开发了一个多视图渲染数据集。基于扩散的多视图生成器专门在合成头部图像上进行训练，而 GS-LRM 重建器在 Objaverse 上进行初始训练，然后在合成头部数据上进行微调。FaceLift擅长在重建过程中保留身份和维持视图一致性。尽管仅在合成数据上进行训练，但我们的方法仍表现出对真实世界图像的显著泛化能力。通过大量的定性和定量评估表明FaceLift在 3D 头部重建方面的表现优于最先进的方法，凸显了其实用性和在真实图像上的稳健性能。除了单幅图像重建外，FaceLift还支持视频输入以进行 4D 新颖视图合成，并与 2D 动画技术无缝集成以实现 3D 面部动画。
方法
FaceLift概述。 给定一张人脸图像作为输入，我们训练一个图像调节的多视图扩散模型来生成覆盖整个头部的全新视图。通过利用预先训练的权重和高质量的合成数据，我们的多视图潜在扩散模型可以以高保真度和多视图一致性幻化出人头的未见视图。然后，我们对 GS-LRM 进行微调，它将多视图图像及其相机姿势作为输入，并生成 3D 高斯图块来表示人头。生成的 3D 高斯表示支持全头部全新视图合成。
结果
单幅图像到 3D 头部
FaceLift 是一种前馈方法，它将单个面部图像提升为具有保留身份特征的详细 3D 重建。
视频作为 4D 新视图合成的输入
给定视频作为输入，FaceLift 单独处理每一帧并生成 3D 高斯序列，从而实现 4D 新颖视图合成。
FaceLift 可以与LivePortrait 等 2D 面部动画方法结合，实现 3D 面部动画。
结论
FaceLift是一种前馈方法，可将单个面部图像提升为具有保留身份特征的详细 3D 重建。FaceLift 使用多视图扩散来生成不可观察的视图，并使用 GS-LRM 来重建 3D 高斯图，从而实现高质量的新视图合成。为了克服捕捉现实世界多视图人头图像的困难，渲染了高质量的合成数据进行训练，并表明，尽管仅使用合成数据进行训练，FaceLift 仍可以从现实世界捕获的图像中高保真地重建 3D 头部。与基线相比，FaceLift 生成具有更精细几何和纹理细节的 3D 头部表示，并表现出更好的身份保存能力。