Learning an Animatable Detailed 3D Face Model from In-The-Wild Images论文笔记
论文目标:提出一个端到端的框架,可以从非受控的图片中学习高质量、可动画的3D人脸模型。
论文方法:
-
数据准备:从网络收集大量真实图片构建训练集,使用基于深度学习的方法预测2D人脸轮廓和表情等。
-
基于图像重建损失进行端到端训练,网络包含两个模块:
- 参数化的3D人脸几何结构模块:预测面部网格拓扑结构和vertex位置。
- 渲染模块:将3D模型渲染为2D图片。
-
训练过程中结合对齐、重建和经典3DMM方法作为正则化,使预测的3D模型更精细和逼真。
-
提出拓扑优化模块,进一步优化面部网格结构,使其更协调自然。
-
训练好的模型可以进行多种后处理,如细节增强、泛化等。
论文结果:
-
在多项评价指标上优于其他state-of-the-art方法。
-
可以从单张野生图片重建高质量3D人脸,包含精细的几何结构和表情细节。
-
生成的3D人脸模型可直接用于动画和渲染。
论文意义:
-
该方法适用于从非受控的野生图片中重建高质量3D面部,可用于多种下游任务。
-
提出了端到端训练框架,无需复杂流水线。
-
生成模型可直接用于3D动画,具有良好的泛化能力。
-
方法效果优于当前最先进技术,为从单张图片重建3D面部提供了进一步改进。