搭建musetalk数字人的步骤

生成数字人的视频效果

搭建步骤

下载git代码

bash 复制代码
git clone https://github.com/TMElyralab/MuseTalk.git

创建conda环境

(建议使用 python 版本 >=3.10 和 cuda 版本 =11.7。)

bash 复制代码
conda create -n musetalk python=3.10

进入conda环境

bash 复制代码
conda activate musetalk

下载项目依赖包

bash 复制代码
pip install -r requirements.txt

mmlab 封装

bash 复制代码
pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install "mmcv>=2.0.1" 
mim install "mmdet>=3.1.0" 
mim install "mmpose>=1.1.0" 

注意:这一步可能提示错误,跳过即可

下载 ffmpeg-4.1.4-amd64-static

https://ffmpeg.org/download.html#releases

解压文件ffmpeg-4.1.4-amd64-static

bash 复制代码
tar -xvf ffmpeg-4.1.4-amd64-static.gz

设置环境变量

bash 复制代码
vi ~/.bashrc

最后一行填写上

bash 复制代码
export FFMPEG_PATH=/root/workspace/MuseTalk/musetalk/ffmpeg-4.1.4-amd64-static

使配置生效

bash 复制代码
source ~/.bashrc

验证安装:验证 ffmpeg 是否正确安装和配置:

bash 复制代码
$FFMPEG_PATH/ffmpeg -version
bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# $FFMPEG_PATH/ffmpeg -version
ffmpeg version 4.1.4-static https://johnvansickle.com/ffmpeg/  Copyright (c) 2000-2019 the FFmpeg developers
built with gcc 6.3.0 (Debian 6.3.0-18+deb9u1) 20170516
configuration: --enable-gpl --enable-version3 --enable-static --disable-debug --disable-ffplay --disable-indev=sndio --disable-outdev=sndio --cc=gcc-6 --enable-fontconfig --enable-frei0r --enable-gnutls --enable-gmp --enable-libgme --enable-gray --enable-libaom --enable-libfribidi --enable-libass --enable-libvmaf --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librubberband --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libvorbis --enable-libopus --enable-libtheora --enable-libvidstab --enable-libvo-amrwbenc --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzvbi --enable-libzimg
libavutil      56. 22.100 / 56. 22.100
libavcodec     58. 35.100 / 58. 35.100
libavformat    58. 20.100 / 58. 20.100
libavdevice    58.  5.100 / 58.  5.100
libavfilter     7. 40.101 /  7. 40.101
libswscale      5.  3.100 /  5.  3.100
libswresample   3.  3.100 /  3.  3.100
libpostproc    55.  3.100 / 55.  3.100

验证ffmpeg是不是安装成功

bash 复制代码
pip list | grep ffmpeg
bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# pip list | grep ffmpeg
ffmpeg-python                0.2.0
imageio-ffmpeg               0.5.1
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# 

安装正确的ffmpeg-python 库:

bash 复制代码
pip install ffmpeg-python 

下载需要的模型

链接: https://pan.baidu.com/s/1NxELa1cvtu3aDh3d9sB1Jw?pwd=yptf

提取码: yptf

下载后依次放在models目录下面

bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ models]# ls -al
total 3905288
drwxr-xr-x  7 root root       4096 Jun 18 21:46 .
drwxr-xr-x 10 root root       4096 Jun 19 14:43 ..
drwxrwxr-x  2 root root       4096 Jun 18 21:19 dwpose
drwxrwxr-x  2 root root       4096 Jun 18 21:20 face-parse-bisent
drwxrwxr-x  2 root root       4096 Jun 18 21:18 musetalk
drwxrwxr-x  2 root root       4096 Jun 18 21:20 sd-vae-ft-mse
drwxrwxr-x  2 root root       4096 Jun 18 21:20 whisper

models的目录结构为:

./models/

├── musetalk

│ └── musetalk.json

│ └── pytorch_model.bin

├── dwpose

│ └── dw-ll_ucoco_384.pth

├── face-parse-bisent

│ ├── 79999_iter.pth

│ └── resnet18-5c106cde.pth

├── sd-vae-ft-mse

│ ├── config.json

│ └── diffusion_pytorch_model.bin

└── whisper

└── tiny.pt

准备没有声音的视频文件和音频文件

MuseTalk/data/video

MuseTalk/data/audio

编辑配置文件

bash 复制代码
task_0:
 video_path: "data/video/baichuanxu.mp4"
 audio_path: "data/audio/baichunxu.wav"
 bbox_shift: -7

模型推理

bash 复制代码
python -m scripts.inference --inference_config configs/inference/test.yaml 

下载视频,到results目录下载生成的视频

相关推荐
疯一样的码农3 分钟前
Python 正则表达式(RegEx)
开发语言·python·正则表达式
进击的六角龙1 小时前
Python中处理Excel的基本概念(如工作簿、工作表等)
开发语言·python·excel
一只爱好编程的程序猿1 小时前
Java后台生成指定路径下创建指定名称的文件
java·python·数据下载
Aniay_ivy2 小时前
深入探索 Java 8 Stream 流:高效操作与应用场景
java·开发语言·python
gonghw4032 小时前
DearPyGui学习
python·gui
向阳12182 小时前
Bert快速入门
人工智能·python·自然语言处理·bert
engchina2 小时前
Neo4j 和 Python 初学者指南:如何使用可选关系匹配优化 Cypher 查询
数据库·python·neo4j
兆。2 小时前
掌握 PyQt5:从零开始的桌面应用开发
开发语言·爬虫·python·qt
南宫理的日知录2 小时前
99、Python并发编程:多线程的问题、临界资源以及同步机制
开发语言·python·学习·编程学习
coberup3 小时前
django Forbidden (403)错误解决方法
python·django·403错误