FaceFormer嘴形同步论文复现

龚子亦2024-08-30 14:33

一、项目地址

https://github.com/EvelynFan/FaceFormer

二、复现过程

1、项目环境

系统：Ubuntu 18.04.1

python版本：Python 3.7

使用conda创建一个虚拟环境，安装requirements.txt中所需要的库

2、安装ffmpeg

教程网址：https://blog.csdn.net/m0_56454119/article/details/138190685

3、安装MPI-IS/mesh

项目地址：https://github.com/MPI-IS/mesh

（1）将项目下载下来，放进FaceFormer工程项目中

（2）根据项目文档，安装需要的内容

（3）安装成功显示

4、下载预训练好的模型

下载网址：https://drive.google.com/drive/folders/1_XVYnBcca-8wD-zqAcaNKxwugBKn7hJe?usp=sharing

5、下载wav2vec的离线模型

下载网站：https://huggingface.co/facebook/wav2vec2-base-960h/tree/main

存放路径：

6、进行测试

官方是用gpu进行训练的，本人的gpu不够强大，训练不了，就换成了cpu

python 复制代码

 python demo.py --model_name biwi --wav_path "demo/wav/test.wav" --dataset BIWI --vertice_dim 70110 --feature_dim 128 --period 25 --fps 25 --train_subjects "F2 F3 F4 M3 M4 M5" --test_subjects "F1 F5 F6 F7 F8 M1 M2 M6" --condition M3 --subject M1 --device cpu

三、最终效果

FaceFormer嘴形同步复现效果