一站式高质量数字人动画框架——EchoMimic-V3本地部署教程: 13 亿参数实现统一多模态、多任务人体动画生成

一、介绍

EchoMimicV3 是蚂蚁集团在8月底开源的一款高效、多模态、多任务的数字人视频生成框架, 凭借13亿参数的紧凑型视频扩散模型(CVDM),实现了在多种输入条件下快速生成高质量、强泛化能力的数字人动画,为数字人动画技术带来了重要突破。

二、部署过程

快速部署及使用方法,请进入算家云官网, 参考"镜像社区"。

基础环境最低要求说明:

环境名称 版本信息
Ubuntu 22.04
Cuda 12.1.1
Python 3.10
NVIDIA Corporation RTX 4090 D

1、构建基础镜像 Miniconda-Ubuntu-22.04-cuda12.1.1

2、更新系统

sql 复制代码
sudo apt update && sudo apt upgrade -y

更新过程中遇到下图的情况时,在命令行中输入"2"即可

3、创建虚拟环境

ini 复制代码
# 创建一个名为 echomimic_v3 的新虚拟环境,并指定 Python 版本为 3.10
conda create -n echomimic_v3 python=3.10 -y

等待安装完成

bash 复制代码
# 进入虚拟环境
conda activate echomimic_v3

4、从 github 仓库 克隆项目

bash 复制代码
# (如果下载速度过慢可以开启学术代理加速)
git clone https://github.com/antgroup/echomimic_v3.git

5、安装依赖

bash 复制代码
cd echomimic_v3

pip install -r requirements.txt

安装成功

6、模型准备

模型名称 备注
Wan2.1-Fun-1.3B-InP 基础模型
wav2vec2-base 音频编码器
EchoMimicV3-preview 权重

注意:由于Wan2.1-Fun-1.3B-InP和wav2vec2-base模型已经下载到堡垒机里面,所以这里不需要下载。之后在 app_mm.py文件中修改地址即可

6.1 下载权重

  • 创建目录

    bash 复制代码
    cd echomimic_v3
    mkdir -p models
  • 下载元数据(不拉大文件)

    bash 复制代码
    cd models
    GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/BadToBest/EchoMimicV3
  • 拉取大文件

    bash 复制代码
    cd EchoMimicV3/transformer
    git lfs pull
  • 移动transformer文件夹

    bash 复制代码
    mv /echomimic_v3/models/EchoMimicV3/transformer /echomimic_v3/models

7、编辑 app_mm.py文件

7.1 打开 app_mm.py文件,找到第82行左右

修改红框部分:

7.2 打开 app_mm.py文件,找到第326行左右

修改红框部分:

8、运行 app_mm.py文件

css 复制代码
cd echomimic_v3

python app_mm.py --server_name 0.0.0.0 --server_port 8080

运行成功

三、网页演示

出现以下 Gradio 页面,即是模型已搭建完成。

相关推荐
修己xj18 小时前
开源 Wiki 神器 Docmost:团队协作知识库的终极解决方案
开源
Elastic 中国社区官方博客19 小时前
Elasticsearch:使用 Agent Builder 的 A2A 实现 - 开发者的圣诞颂歌
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
chools19 小时前
【AI超级智能体】快速搞懂工具调用Tool Calling 和 MCP协议
java·人工智能·学习·ai
郝学胜-神的一滴19 小时前
深度学习必学:PyTorch 神经网络参数初始化全攻略(原理 + 代码 + 选择指南)
人工智能·pytorch·python·深度学习·神经网络·机器学习
leobertlan19 小时前
好玩系列:用20元实现快乐保存器
android·人工智能·算法
笨笨饿19 小时前
#58_万能函数的构造方法:ReLU函数
数据结构·人工智能·stm32·单片机·硬件工程·学习方法
jr-create(•̀⌄•́)19 小时前
从零开始:手动实现神经网络识别手写数字(完整代码讲解)
人工智能·深度学习·神经网络
冬奇Lab20 小时前
一天一个开源项目(第78篇):MiroFish - 用群体智能引擎预测未来
人工智能·开源·资讯
冬奇Lab20 小时前
你的 Skill 真的好用吗?来自OpenAI的 Eval 系统化验证 Agent 技能方法论
人工智能·openai
数智工坊20 小时前
Transformer 全套逻辑:公式推导 + 原理解剖 + 逐行精读 - 划时代封神之作!
人工智能·深度学习·transformer