TANGO - 数字人全身动作生成

文章目录

- [一、关于 TANGO](#一、关于 TANGO)
- - 演示视频（YouTube）
  - 📝发布计划
- 二、⚒️安装
- - 克隆存储库
  - 构建环境
- 三、🚀训练和推理
- - 1、推理
  - 2、为自定义字符创建图形

一、关于 TANGO

TANGO 是具有分层音频运动嵌入和扩散插值的共语音手势视频再现

由东京大学和 CyberAgent AI Lab 联合开发

github : https://github.com/CyberAgentAILab/TANGO
官网：https://pantomatrix.github.io/TANGO/
huggingface 试用： https://huggingface.co/spaces/H-Liu1997/TANGO
paper : https://arxiv.org/abs/2410.04221
YouTube : https://www.youtube.com/watch?v=_DfsA11puBc

参考文章：开源版Heygen！TANGO数字人，瞄准全身动作生成，本地部署实测
https://mp.weixin.qq.com/s/3br-2dP2GmrhqqHY4cbpmg

演示视频（YouTube）

https://youtu.be/xuhD_-tMH1w?si=Tr6jHAhOR1fxWIjb

📝发布计划

AuMoClip和ACInterp的训练代码
ACInterp的推理码
处理YouTube商业视频数据（非常小，约15分钟）
创建手势图的脚本
带有AuMoClip和预训练权重的推理码

二、⚒️安装

克隆存储库

shell 复制代码

git clone https://github.com/CyberAgentAILab/TANGO.git
cd TANGO
git clone https://github.com/justinjohn0306/Wav2Lip.git
git clone https://github.com/dajes/frame-interpolation-pytorch.git

构建环境

我们推荐一个python版本==3.9.20和cuda版本==11.8。然后构建环境如下：

shell 复制代码

# [Optional] Create a virtual env
conda create -n tango python==3.9.20
conda activate tango
# Install with pip:
pip install -r ./pre-requirements.txt
pip install -r ./requirements.txt

三、🚀训练和推理

1、推理

这是在路径<your root>/TANGO/下运行推理脚本的命令，生成两个8s vido大约需要3分钟。您可以通过直接检查视频或使用我们在EMAGE中的搅拌机插件通过搅拌机检查结果. npz文件来可视化。

第一次运行时将自动下载必要的检查点和预先计算的图表。请确保至少有35GB的磁盘空间可用。

shell 复制代码

python app.py

2、为自定义字符创建图形

shell 复制代码

python create_graph.py

2025-01-06（一）