重塑视频新语言,让每一帧都焕发新生——Video-Retalking,开启数字人沉浸式交流新纪元!

模型简介

Video-Retalking 模型是一种基于深度学习的视频再谈话技术,它通过分析视频中的音频和图像信息,实现视频角色口型、表情乃至肢体动作的精准控制与合成。这一技术的实现依赖于强大的技术架构和核心算法,特别是生成对抗网络(GAN)等先进算法的应用。

一、在算家云搭建

1.选择模型实例

在应用社区中搜索或找到"video-retalking"模型

或者在"视频生成"选项功能中单击选择"视频配音"

2.创建模型实例

在video-retalking模型界面页面中单击"创建应用"

选择GPU资源项选择RTX 3090后单击"立即创建"

3.使用模型

单击webSSH进入终端:

使用下列命令运行项目

复制代码
conda activate video_retalking
cd video-retalking
python webUI.py

返回项目实例页面点击video-retalking项目开放端口

打开一个新的网页,将得到网址进行粘贴,模型界面成功打开:

二、本地部署教程

系统:Ubuntu22.04 系统,显卡:3090,显存:24G

1.查看系统是否有 Miniconda3 的虚拟环境

conda -V

如果输入命令没有显示 Conda 版本号,则需要安装。

安装教程可查看:

2.更新系统命令

输入下列命令将系统更新及系统缺失命令下载

复制代码
apt-get update 
apt-get upgrade 
apt-get install -y vim wget unzip lsof net-tools openssh-server git git-lfs gcc cmake build-essential

3.创建虚拟 Python 环境

  • 创建一个名为"Video-Retalking"的虚拟镜像,python 版本为 3.10

    conda create -n video_retalking python=3.10

  • 进入"video_retalking"虚拟环境

    conda activate video_retalking

4.下载模型

输入下列命令对 video_retalking 模型进行下载

复制代码
git clone https://gitclone.com/github.com/AILab-CVC/VideoCrafter.gitls
cd VideoCrafter

5.下载 pytorch

输入下列命令:

复制代码
pip install torch==2.1.1 torchvision==0.16.1 torchaudio==2.1.1

耐心等待直到"Successfully"出现:

6.下载模型依赖包

先输入下载 tb-nightly 包避免下载其他依赖包报错:

复制代码
pip install tb-nightly -i https://mirrors.aliyun.com/pypi/simple

再输入下列命令:

复制代码
pip install -r requirements.txt

耐心等待直到"Successfully"出现

最后安装 ffmpeg:

复制代码
conda install ffmpeg

7.添加模型文件

先创建一个名为 checkpoints

复制代码
mkdir checkpoints
cd checkpoints

下载权重文件:

复制代码
git lfs install
git clone https://hf-mirror.com/yachty66/video_retalking

8.推理

输入下列命令:

复制代码
python3 inference.py
--face examples/face/1.mp4
--audio examples/audio/1.wav
--outfile results/1_3.mp4

9.web 界面展示

输入下列命令启动界面:

复制代码
python webUI.py

此时系统会自动下载缺失权重文件

复制网址打开页面:

以上就是在算家云搭建以及本地部署的详细教程。进入算家云-AI-应用社区|模型社区|镜像社区一键使用,快来体验吧~

算家云------简单、高效、便宜

相关推荐
电子科技圈24 分钟前
SmartDV推出先进的H.264和H.265视频编码器和解码器IP
音视频·h.265·h.264
redreamSo1 小时前
AI Daily | AI日报:LinkedIn:90% 应用迁移,弃 Kafka 用 Northguard; 谷歌发布免费AI教育功能,重塑课堂!; 小扎143亿请新贵,Meta员工冰火两重天
程序员·aigc·资讯
巴里巴气1 小时前
安装GPU版本的Pytorch
人工智能·pytorch·python
「、皓子~1 小时前
后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
前端·人工智能·微服务·小程序·go·ai编程·ai写作
降世神童1 小时前
华为云Flexus+DeepSeek征文| 使用华为云CCE容器部署Dify-LLM高可用方案的验证与测试
运维·华为云·aigc
降世神童1 小时前
华为云Flexus+DeepSeek征文| 基于华为云Dify-LLM高可用平台开发运维故障处理智能体
运维·华为云·aigc
cooldream20091 小时前
华为云Flexus+DeepSeek征文|利用华为云一键部署 Dify 平台并接入 DeepSeek 大模型,构建长篇文章生成助手
大模型·华为云·dify
说私域2 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的抖音渠道力拓展与多渠道利润增长研究
人工智能·小程序·开源
笑衬人心。2 小时前
初学Spring AI 笔记
人工智能·笔记·spring
luofeiju2 小时前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数