重塑视频新语言,让每一帧都焕发新生——Video-Retalking,开启数字人沉浸式交流新纪元!

模型简介

Video-Retalking 模型是一种基于深度学习的视频再谈话技术,它通过分析视频中的音频和图像信息,实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法,特别是生成对抗网络(GAN)等先进算法的应用。

一、在算家云搭建

1.选择模型实例

在应用社区中搜索或找到"video-retalking"模型

或者在"视频生成"选项功能中单击选择"视频配音"

2.创建模型实例

在video-retalking模型界面页面中单击"创建应用"

选择GPU资源项选择RTX 3090后单击"立即创建"

3.使用模型

单击webSSH进入终端:

使用下列命令运行项目

复制代码
conda activate video_retalking
cd video-retalking
python webUI.py

返回项目实例页面点击video-retalking项目开放端口

打开一个新的网页,将得到网址进行粘贴,模型界面成功打开:

二、本地部署教程

系统:Ubuntu22.04 系统,显卡:3090,显存:24G

1.查看系统是否有 Miniconda3 的虚拟环境

conda -V

如果输入命令没有显示 Conda 版本号,则需要安装。

安装教程可查看:

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

复制代码
apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟 Python 环境

  • 创建一个名为"Video-Retalking"的虚拟镜像,python 版本为 3.10

    conda create -n video_retalking python=3.10

  • 进入"video_retalking"虚拟环境

    conda activate video_retalking

4.下载模型

输入下列命令对 video_retalking 模型进行下载

复制代码
git clone https://gitclone.com/github.com/AILab-CVC/VideoCrafter.gitls
cd VideoCrafter

5.下载 pytorch

输入下列命令:

复制代码
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1

耐心等待直到"Successfully"出现:

6.下载模型依赖包

先输入下载 tb-nightly 包避免下载其他依赖包报错:

复制代码
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

再输入下列命令:

复制代码
pip install -r requirements.txt

耐心等待直到"Successfully"出现

最后安装 ffmpeg:

复制代码
conda install ffmpeg

7.添加模型文件

先创建一个名为 checkpoints

复制代码
mkdir checkpoints
cd checkpoints

下载权重文件:

复制代码
git lfs install
git clone https://hf-mirror.com/yachty66/video_retalking

8.推理

输入下列命令:

复制代码
python3 inference.py
--face examples/face/1.mp4
--audio examples/audio/1.wav
--outfile results/1_3.mp4

9.web 界面展示

输入下列命令启动界面:

复制代码
python webUI.py

此时系统会自动下载缺失权重文件

复制网址打开页面:

以上就是在算家云搭建以及本地部署的详细教程。进入算家云-AI-应用社区|模型社区|镜像社区一键使用,快来体验吧~

算家云------简单、高效、便宜

相关推荐
用户87612829073743 分钟前
前端ai对话框架semi-design-vue
前端·人工智能
量子位4 分钟前
稚晖君刚挖来的 90 后机器人大牛:逆袭履历堪比爽文男主
人工智能·llm
量子位10 分钟前
200 亿机器人独角兽被曝爆雷,官方回应来了
人工智能·llm
机器之心13 分钟前
细节厘米级还原、实时渲染,MTGS方法突破自动驾驶场景重建瓶颈
人工智能
arbboter28 分钟前
【AI插件开发】Notepad++ AI插件开发实践:从Dock窗口集成到功能菜单实现
人工智能·notepad++·动态菜单·notepad++插件开发·dock窗口集成·ai代码辅助工具·ai对话窗口
jndingxin37 分钟前
OpenCV 图形API(或称G-API)(1)
人工智能·opencv·计算机视觉
Java中文社群1 小时前
超实用!Prompt程序员使用指南,大模型各角色代码实战案例分享
后端·aigc
神马行空2 小时前
一文解读DeepSeek大模型在政府工作中具体的场景应用
人工智能·大模型·数字化转型·deepseek·政务应用
合合技术团队2 小时前
实测对比|法国 AI 独角兽公司发布的“最强 OCR”,实测效果如何?
大数据·人工智能·图像识别
蒹葭苍苍8732 小时前
LoRA、QLoRA微调与Lama Factory
人工智能·笔记