FaceFormer嘴形同步论文复现

一、项目地址

https://github.com/EvelynFan/FaceFormer

二、复现过程

1、项目环境

系统:Ubuntu 18.04.1

python版本:Python 3.7

使用conda创建一个虚拟环境,安装requirements.txt中所需要的库

2、安装ffmpeg

教程网址:https://blog.csdn.net/m0_56454119/article/details/138190685

3、安装MPI-IS/mesh

项目地址:https://github.com/MPI-IS/mesh

(1)将项目下载下来,放进FaceFormer工程项目中

(2)根据项目文档,安装需要的内容

(3)安装成功显示

4、下载预训练好的模型

下载网址:https://drive.google.com/drive/folders/1_XVYnBcca-8wD-zqAcaNKxwugBKn7hJe?usp=sharing

5、下载wav2vec的离线模型

下载网站:https://huggingface.co/facebook/wav2vec2-base-960h/tree/main

存放路径:

6、进行测试

官方是用gpu进行训练的,本人的gpu不够强大,训练不了,就换成了cpu

python 复制代码
 python demo.py --model_name biwi --wav_path "demo/wav/test.wav" --dataset BIWI --vertice_dim 70110 --feature_dim 128 --period 25 --fps 25 --train_subjects "F2 F3 F4 M3 M4 M5" --test_subjects "F1 F5 F6 F7 F8 M1 M2 M6" --condition M3 --subject M1 --device cpu

三、最终效果

FaceFormer嘴形同步复现效果

相关推荐
张德锋1 分钟前
Pytorch实现天气识别
机器学习
晓13134 分钟前
第七章 OpenCV篇——角点检测与特征检测
人工智能·深度学习·计算机视觉
Wilber的技术分享2 小时前
【机器学习实战笔记 14】集成学习:XGBoost算法(一) 原理简介与快速应用
人工智能·笔记·算法·随机森林·机器学习·集成学习·xgboost
巴里巴气2 小时前
selenium基础知识 和 模拟登录selenium版本
爬虫·python·selenium·爬虫模拟登录
19892 小时前
【零基础学AI】第26讲:循环神经网络(RNN)与LSTM - 文本生成
人工智能·python·rnn·神经网络·机器学习·tensorflow·lstm
JavaEdge在掘金2 小时前
Redis 数据倾斜?别慌!从成因到解决方案,一文帮你搞定
python
ansurfen2 小时前
我的第一个AI项目:从零搭建RAG知识库的踩坑之旅
python·llm
前端付豪2 小时前
20、用 Python + API 打造终端天气预报工具(支持城市查询、天气图标、美化输出🧊
后端·python
前端付豪3 小时前
19、用 Python + OpenAI 构建一个命令行 AI 问答助手
后端·python
amazinging3 小时前
北京-4年功能测试2年空窗-报培训班学测开-第四十三天
python·学习