搭建musetalk数字人的步骤

生成数字人的视频效果

搭建步骤

下载git代码

bash 复制代码
git clone https://github.com/TMElyralab/MuseTalk.git

创建conda环境

(建议使用 python 版本 >=3.10 和 cuda 版本 =11.7。)

bash 复制代码
conda create -n musetalk python=3.10

进入conda环境

bash 复制代码
conda activate musetalk

下载项目依赖包

bash 复制代码
pip install -r requirements.txt

mmlab 封装

bash 复制代码
pip install --no-cache-dir -U openmim 
mim install mmengine 
mim install "mmcv>=2.0.1" 
mim install "mmdet>=3.1.0" 
mim install "mmpose>=1.1.0" 

注意:这一步可能提示错误,跳过即可

下载 ffmpeg-4.1.4-amd64-static

https://ffmpeg.org/download.html#releases

解压文件ffmpeg-4.1.4-amd64-static

bash 复制代码
tar -xvf ffmpeg-4.1.4-amd64-static.gz

设置环境变量

bash 复制代码
vi ~/.bashrc

最后一行填写上

bash 复制代码
export FFMPEG_PATH=/root/workspace/MuseTalk/musetalk/ffmpeg-4.1.4-amd64-static

使配置生效

bash 复制代码
source ~/.bashrc

验证安装:验证 ffmpeg 是否正确安装和配置:

bash 复制代码
$FFMPEG_PATH/ffmpeg -version
bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# $FFMPEG_PATH/ffmpeg -version
ffmpeg version 4.1.4-static https://johnvansickle.com/ffmpeg/  Copyright (c) 2000-2019 the FFmpeg developers
built with gcc 6.3.0 (Debian 6.3.0-18+deb9u1) 20170516
configuration: --enable-gpl --enable-version3 --enable-static --disable-debug --disable-ffplay --disable-indev=sndio --disable-outdev=sndio --cc=gcc-6 --enable-fontconfig --enable-frei0r --enable-gnutls --enable-gmp --enable-libgme --enable-gray --enable-libaom --enable-libfribidi --enable-libass --enable-libvmaf --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-librubberband --enable-libsoxr --enable-libspeex --enable-libsrt --enable-libvorbis --enable-libopus --enable-libtheora --enable-libvidstab --enable-libvo-amrwbenc --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzvbi --enable-libzimg
libavutil      56. 22.100 / 56. 22.100
libavcodec     58. 35.100 / 58. 35.100
libavformat    58. 20.100 / 58. 20.100
libavdevice    58.  5.100 / 58.  5.100
libavfilter     7. 40.101 /  7. 40.101
libswscale      5.  3.100 /  5.  3.100
libswresample   3.  3.100 /  3.  3.100
libpostproc    55.  3.100 / 55.  3.100

验证ffmpeg是不是安装成功

bash 复制代码
pip list | grep ffmpeg
bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# pip list | grep ffmpeg
ffmpeg-python                0.2.0
imageio-ffmpeg               0.5.1
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ MuseTalk]# 

安装正确的ffmpeg-python 库:

bash 复制代码
pip install ffmpeg-python 

下载需要的模型

链接: https://pan.baidu.com/s/1NxELa1cvtu3aDh3d9sB1Jw?pwd=yptf

提取码: yptf

下载后依次放在models目录下面

bash 复制代码
(musetalk) [root@iZ0jl0y9289xkrzfhm4p2wZ models]# ls -al
total 3905288
drwxr-xr-x  7 root root       4096 Jun 18 21:46 .
drwxr-xr-x 10 root root       4096 Jun 19 14:43 ..
drwxrwxr-x  2 root root       4096 Jun 18 21:19 dwpose
drwxrwxr-x  2 root root       4096 Jun 18 21:20 face-parse-bisent
drwxrwxr-x  2 root root       4096 Jun 18 21:18 musetalk
drwxrwxr-x  2 root root       4096 Jun 18 21:20 sd-vae-ft-mse
drwxrwxr-x  2 root root       4096 Jun 18 21:20 whisper

models的目录结构为:

./models/

├── musetalk

│ └── musetalk.json

│ └── pytorch_model.bin

├── dwpose

│ └── dw-ll_ucoco_384.pth

├── face-parse-bisent

│ ├── 79999_iter.pth

│ └── resnet18-5c106cde.pth

├── sd-vae-ft-mse

│ ├── config.json

│ └── diffusion_pytorch_model.bin

└── whisper

└── tiny.pt

准备没有声音的视频文件和音频文件

MuseTalk/data/video

MuseTalk/data/audio

编辑配置文件

bash 复制代码
task_0:
 video_path: "data/video/baichuanxu.mp4"
 audio_path: "data/audio/baichunxu.wav"
 bbox_shift: -7

模型推理

bash 复制代码
python -m scripts.inference --inference_config configs/inference/test.yaml 

下载视频,到results目录下载生成的视频

相关推荐
databook2 小时前
Manim实现闪光轨迹特效
后端·python·动效
Juchecar3 小时前
解惑:NumPy 中 ndarray.ndim 到底是什么?
python
用户8356290780513 小时前
Python 删除 Excel 工作表中的空白行列
后端·python
Json_3 小时前
使用python-fastApi框架开发一个学校宿舍管理系统-前后端分离项目
后端·python·fastapi
数据智能老司机10 小时前
精通 Python 设计模式——分布式系统模式
python·设计模式·架构
数据智能老司机11 小时前
精通 Python 设计模式——并发与异步模式
python·设计模式·编程语言
数据智能老司机11 小时前
精通 Python 设计模式——测试模式
python·设计模式·架构
数据智能老司机11 小时前
精通 Python 设计模式——性能模式
python·设计模式·架构
c8i11 小时前
drf初步梳理
python·django
每日AI新事件11 小时前
python的异步函数
python