整体框架。不直接生成视频帧，而是在潜在空间中生成整体面部动态和头部运动，条件是音频和其他信号。给定这些运动潜在编码，通过面部解码器生成视频帧，还接受从输入图像中提取的外观和身份特征作为输入。
构建了一个面部潜在空间并训练面部编码器和解码器。
我们设计并训练了一个具有表现力和可分离特征的面部潜在学习框架，该框架基于真实面部视频。然后，训练一个扩散变换器，用于建模运动分布，并在测试时根据音频和其他条件生成运动潜在编码。
【论文阅读】VASA-1: Lifelike Audio-Driven Talking FacesGenerated in Real Time
李加号pluuuus2024-07-06 12:33
相关推荐
Bearnaise1 天前
GaussianDreamer: Fast Generation from Text to 3D Gaussians——点云论文阅读（11）PD我是你的真爱粉2 天前
Quality minus junk论文阅读regret～2 天前
【论文笔记】LoFLAT: Local Feature Matching using Focused Linear Attention TransformerMaker~2 天前
23、论文阅读：基于多分辨率特征学习的层次注意力聚合GAN水下图像增强Q_yt2 天前
【图像压缩感知】论文阅读：Content-Aware Scalable Deep Compressed Sensing江海寄2 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review（三）总结梳理-疑点记录江海寄2 天前
[论文阅读] 异常检测 Deep Learning for Anomaly Detection: A Review （四）三种分类方法对比代码太难敲啊喂3 天前
【Anomaly Detection论文阅读记录】Resnet网络与WideResNet网络YunTM3 天前
革新预测领域：频域融合时间序列预测，深度学习新篇章，科研涨点利器Ayakanoinu3 天前
【论文阅读】Adversarial Examples for Handcrafted Features