整体框架。不直接生成视频帧，而是在潜在空间中生成整体面部动态和头部运动，条件是音频和其他信号。给定这些运动潜在编码，通过面部解码器生成视频帧，还接受从输入图像中提取的外观和身份特征作为输入。
构建了一个面部潜在空间并训练面部编码器和解码器。
我们设计并训练了一个具有表现力和可分离特征的面部潜在学习框架，该框架基于真实面部视频。然后，训练一个扩散变换器，用于建模运动分布，并在测试时根据音频和其他条件生成运动潜在编码。
【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time
李加号pluuuus2024-07-06 12:33
相关推荐
nenchoumi311911 小时前
VLA 论文精读（十八）π0.5: a Vision-Language-Action Model with Open-World Generalization江左子固1 天前
《Deep Learning Inference on Embedded Devices: Fixed-Point vs Posit》（一）nenchoumi31192 天前
LLM 论文精读（二）Training Compute-Optimal Large Language Models爱补鱼的猫猫2 天前
20、 DeepSeekMoE论文笔记李一帆'2 天前
【论文阅读】Dual-branch Cross-Patch Attention Learning for Group Affect Recognition初级炼丹师(爱说实话版)2 天前
Representation Flow for Action Recognition论文笔记CV-杨帆2 天前
论文阅读：2025 arxiv AI Alignment: A Comprehensive Survey黄雪超2 天前
Flink介绍——实时计算核心论文之Dataflow论文详解王上上2 天前
【论文阅读24】并行 TCN-LSTM（2024-02）nenchoumi31193 天前
VLA论文精读（十四）PointVLA: Injecting the 3D World into Vision-Language-Action Models