EchoMimic 音频驱动照片生成视频部署测试

环境:Windows 11 + NVIDIA RTX 3070 Laptop 16GB

我配置了阿里云的镜像,要实现一样的效果,你也可以在每一行的命令后加

bash 复制代码
-i https://mirrors.aliyun.com/pypi/simple/

如:

bash 复制代码
pip install package_name -i https://mirrors.aliyun.com/pypi/simple/

安装按 GitHub 开源说明部署没有压力

bash 复制代码
conda create -n EchoMimicCpu python=3.10
activate EchoMimicCpu
conda install git
git clone https://github.com/antgroup/echomimic.git
cd EchoMimic
conda install ffmpeg
pip install -r requirements.txt
git lfs install
git clone https://huggingface.co/BadToBest/EchoMimic pretrained_weights

注意huggingface在国内不能正常访问,可以用以下命令替代

bash 复制代码
git clone https://hf-mirror.com/BadToBest/EchoMimic pretrained_weights

我的经验,其实你用某种方式打开原网站点下载后,使用IDM等下载工具,会自动跳到CDN链接,速度飞起,至于怎么打开原网页,作为肩负国家振兴责任的年轻人,你可以大胆一点

问题:

bash 复制代码
ImportError: cannot import name 'cached_download' from 'huggingface_hub'

手动安装相关包的版本

bash 复制代码
pip install transformers==4.38.2
pip install huggingface_hub==0.25.0
pip install gradio==4.44.0

问题:

bash 复制代码
please download ffmpeg-static and export to FFMPEG_PATH.

下载

bash 复制代码
https://www.johnvansickle.com/ffmpeg/old-releases/ffmpeg-4.4-amd64-static.tar.xz

解压,比如我直接解压到

bash 复制代码
F:\EchoMimic

然后,运行时(每一次运行都要,也可以设置永久环境变量)

bash 复制代码
set FFMPEG_PATH=F:\EchoMimic\ffmpeg-4.4-amd64-static

问题:

bash 复制代码
Cannot initialize model with low cpu memory usage because `accelerate` was not found in the environment.

安装 accelerate 包

bash 复制代码
pip install accelerate

问题:

bash 复制代码
AssertionError: Torch not compiled with CUDA enabled

要么改python脚本,要么安装cuda版本的torch(次奥,还是cuda吧)

bash 复制代码
conda install cuda=12.1

# 从 https://download.pytorch.org/whl/cu121 下载 wheel
# 如 torch 就到 https://download.pytorch.org/whl/cu121/torch 下载对应版本
# 国内也可以用阿里云 https://mirrors.aliyun.com/pytorch-wheels/cu121 但是新版本 torch 还没有

pip install D:\Downloads\torch-2.2.2+cu121-cp310-cp310-win_amd64.whl
pip install D:\Downloads\torchvision-0.17.2+cu121-cp310-cp310-win_amd64.whl
pip install D:\Downloads\torchaudio-2.2.2+cu121-cp310-cp310-win_amd64.whl

问题:

bash 复制代码
TypeError: argument of type 'bool' is not iterable
ValueError: When localhost is not accessible, a shareable link must be created.

这个是老问题了,是pydantic版本所致

bash 复制代码
pip install pydantic==2.10.6

此外,如果使用页面 webui.py 脚本有问题(我怀疑这帮人是故意的)

bash 复制代码
	cv2.error: OpenCV(4.11.0) :-1: error: (-5:Bad argument) in function 'resize'
	修改 webui.py 第 169,170 行
        face_img = cv2.resize(face_img, (width, height))
        face_mask = cv2.resize(face_mask, (width, height))
	为
        face_img = cv2.resize(face_img[0], (width, height))
        face_mask = cv2.resize(face_mask[0], (width, height))

实测

也许是因为笔记本的GPU的原因,生成6秒的视频,磨蹭了2个小时,效果还行吧,反正比wav2lip好一些,而微软的VASA-1和国内同样是阿里的EMO还没有开源,暂时没法对比,字节跳动老张的LatentSync可以处理视频,效果都差不多

相关推荐
charieli-fh2 分钟前
指令微调数据评估与影响:构建高质量大语言模型的关键
人工智能·深度学习·语言模型
Coovally AI模型快速验证3 分钟前
从避障到实时建图:机器学习如何让无人机更智能、更安全、更实用(附微型机载演示示例)
人工智能·深度学习·神经网络·学习·安全·机器学习·无人机
贾全15 分钟前
MoE 的“大脑”与“指挥官”:深入理解门控、路由与负载均衡
人工智能·负载均衡·大语言模型·路由·moe·多模态ai·门控
熊文豪28 分钟前
蓝耘MaaS驱动PandaWiki:零基础搭建AI智能知识库完整指南
人工智能·pandawiki·蓝耘maas
whaosoft-1431 小时前
51c视觉~合集2~目标跟踪
人工智能
cyyt1 小时前
深度学习周报(9.15~9.21)
人工智能·深度学习·量子计算
Deepoch1 小时前
Deepoc具身智能模型:为传统机器人注入“灵魂”,重塑建筑施工现场安全新范式
人工智能·科技·机器人·人机交互·具身智能
吃饭睡觉发paper2 小时前
High precision single-photon object detection via deep neural networks,OE2024
人工智能·目标检测·计算机视觉
醉方休2 小时前
TensorFlow.js高级功能
javascript·人工智能·tensorflow
云宏信息2 小时前
赛迪顾问《2025中国虚拟化市场研究报告》解读丨虚拟化市场迈向“多元算力架构”,国产化与AI驱动成关键变量
网络·人工智能·ai·容器·性能优化·架构·云计算