重塑视频新语言,让每一帧都焕发新生——Video-Retalking,开启数字人沉浸式交流新纪元!

模型简介

Video-Retalking 模型是一种基于深度学习的视频再谈话技术,它通过分析视频中的音频和图像信息,实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法,特别是生成对抗网络(GAN)等先进算法的应用。

一、在算家云搭建

1.选择模型实例

在应用社区中搜索或找到"video-retalking"模型

或者在"视频生成"选项功能中单击选择"视频配音"

2.创建模型实例

在video-retalking模型界面页面中单击"创建应用"

选择GPU资源项选择RTX 3090后单击"立即创建"

3.使用模型

单击webSSH进入终端:

使用下列命令运行项目

复制代码
conda activate video_retalking
cd video-retalking
python webUI.py

返回项目实例页面点击video-retalking项目开放端口

打开一个新的网页,将得到网址进行粘贴,模型界面成功打开:

二、本地部署教程

系统:Ubuntu22.04 系统,显卡:3090,显存:24G

1.查看系统是否有 Miniconda3 的虚拟环境

conda -V

如果输入命令没有显示 Conda 版本号,则需要安装。

安装教程可查看:

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

复制代码
apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟 Python 环境

  • 创建一个名为"Video-Retalking"的虚拟镜像,python 版本为 3.10

    conda create -n video_retalking python=3.10

  • 进入"video_retalking"虚拟环境

    conda activate video_retalking

4.下载模型

输入下列命令对 video_retalking 模型进行下载

复制代码
git clone https://gitclone.com/github.com/AILab-CVC/VideoCrafter.gitls
cd VideoCrafter

5.下载 pytorch

输入下列命令:

复制代码
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1

耐心等待直到"Successfully"出现:

6.下载模型依赖包

先输入下载 tb-nightly 包避免下载其他依赖包报错:

复制代码
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

再输入下列命令:

复制代码
pip install -r requirements.txt

耐心等待直到"Successfully"出现

最后安装 ffmpeg:

复制代码
conda install ffmpeg

7.添加模型文件

先创建一个名为 checkpoints

复制代码
mkdir checkpoints
cd checkpoints

下载权重文件:

复制代码
git lfs install
git clone https://hf-mirror.com/yachty66/video_retalking

8.推理

输入下列命令:

复制代码
python3 inference.py
--face examples/face/1.mp4
--audio examples/audio/1.wav
--outfile results/1_3.mp4

9.web 界面展示

输入下列命令启动界面:

复制代码
python webUI.py

此时系统会自动下载缺失权重文件

复制网址打开页面:

以上就是在算家云搭建以及本地部署的详细教程。进入算家云-AI-应用社区|模型社区|镜像社区一键使用,快来体验吧~

算家云------简单、高效、便宜

相关推荐
qq_416276422 小时前
LOFAR物理频谱特征提取及实现
人工智能
余俊晖3 小时前
如何构造一个文档解析的多模态大模型?MinerU2.5架构、数据、训练方法
人工智能·文档解析
Akamai中国4 小时前
Linebreak赋能实时化企业转型:专业系统集成商携手Akamai以实时智能革新企业运营
人工智能·云计算·云服务
LiJieNiub5 小时前
读懂目标检测:从基础概念到主流算法
人工智能·计算机视觉·目标跟踪
weixin_519535776 小时前
从ChatGPT到新质生产力:一份数据驱动的AI研究方向指南
人工智能·深度学习·机器学习·ai·chatgpt·数据分析·aigc
爱喝白开水a6 小时前
LangChain 基础系列之 Prompt 工程详解:从设计原理到实战模板_langchain prompt
开发语言·数据库·人工智能·python·langchain·prompt·知识图谱
takashi_void6 小时前
如何在本地部署大语言模型(Windows,Mac,Linux)三系统教程
linux·人工智能·windows·macos·语言模型·nlp
OpenCSG6 小时前
【活动预告】2025斗拱开发者大会,共探支付与AI未来
人工智能·ai·开源·大模型·支付安全
生命是有光的6 小时前
【深度学习】神经网络基础
人工智能·深度学习·神经网络
数字供应链安全产品选型6 小时前
国家级!悬镜安全入选两项“网络安全国家标准应用实践案例”
人工智能·安全·web安全