【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time

整体框架。不直接生成视频帧，而是在潜在空间中生成整体面部动态和头部运动，条件是音频和其他信号。给定这些运动潜在编码，通过面部解码器生成视频帧，还接受从输入图像中提取的外观和身份特征作为输入。

构建了一个面部潜在空间并训练面部编码器和解码器。

我们设计并训练了一个具有表现力和可分离特征的面部潜在学习框架，该框架基于真实面部视频。然后，训练一个扩散变换器，用于建模运动分布，并在测试时根据音频和其他条件生成运动潜在编码。