数字人技术之LatentSync Win11本地部署

#LatentSync技术原理

字节跳动开源的基于音频条件潜在扩散模型的端到端唇同步框架,基于潜在扩散模型,以音频条件潜在扩散模型为基础,利用 Stable Diffusion 强大能力,直接建模复杂的音频与视觉之间的关系,实现高质量的唇形同步. 从而制作虚拟主播与数字人等应用

#部署环境

win11 16G显存 (4060Ti)

git version 2.47.1.windows.2

conda 24.11.3

#前期准备

cuda环境

检查:

nvcc --version

nvidia-smi

#部署流程

下载项目源码:

git clone https://github.com/bytedance/LatentSync.git

conda使用国内镜像:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/

创建python环境:

conda create -n ltsenv python==3.10

进入隔离环境:

conda activate ltsenv

pyTorch官网:

https://pytorch.org/

选择CUDA 12.4 :

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu124

注意 windows 环境下, python依赖 triton 2.2版本 无法使用

需要手动替换win支持的低版本 手动安装whl包

安装视频库:

conda install -c conda-forge ffmpeg

windows :
Please check your internet connection. This can happen if your antivirus software blocks the download of this file. You can install manually by following these steps:

  1. Download this file: https://cdn-media.huggingface.co/frpc-gradio-0.3/frpc_windows_amd64.exe
  2. Rename the downloaded file to: frpc_windows_amd64_v0.3
  3. Move the file to this location: C:\DevTools\anaconda3\envs\ltsenv\lib\site-packages\gradio

以上步骤全部完成后 需要手动下载以下文件: (因hugging face仓库国内访问受限)

https://hf-mirror.com/ByteDance/LatentSync/resolve/main/whisper/tiny.pt
https://hf-mirror.com/ByteDance/LatentSync/resolve/main/latentsync_syncnet.pt
https://hf-mirror.com/ByteDance/LatentSync/resolve/main/latentsync_unet.pt

或直接搜索国内镜像源 https://hf-mirror.com/ 镜像站 >搜索 LatentSync

完成后进入项目根目录

创建checkpoints / whisper 2个文件夹

结构如下:

./checkpoints/

|--latentsync_unet.pt

|--latentsync_syncnet.pt

|--whisper

--thiy.pt

找到根目录下的 requirements.txt文件, win环境下需要删除,liunx跳过

torch==2.2.2

torchvision==0.17.2

--extra-index-url https://download.pytorch.org/whl/cu121

xformers==0.0.26

triton==2.2.0

安装项目依赖

pip install requirements.txt -i https://mirrors.aliyun.com/pypi/simple

#启动项目

python gradio_app.py

启动之后通过 127.0.0.1:7860 进入操作界面 ,同时会给一个临时的外网URL访问.

####################至此部署完成####################

###################################################

#遇见问题

gradio.exceptions.Error: 'Error during processing: stabilityai/sd-vae-ft-mse does not appear to have a file named diffusion_pytorch_model.bin.'

原因是国内访问不了huggingface 我们使用镜像源

解决方式:

在虚拟环境的 "../huggingface_hub"中找到:constants.py文件,将原来的默认网址修改为镜像网址

_HF_DEFAULT_ENDPOINT = "https://huggingface.co"

_HF_DEFAULT_ENDPOINT = "https://hf-mirror.com"

亲测 16G显存 生成30秒视频 约5分钟左右. 可结合 文本转音频技术完成真人版数字人功能

相关推荐
love530love7 分钟前
Windows 如何更改 ModelScope 的模型下载缓存位置?
运维·人工智能·windows·python·缓存·modelscope
悦悦子a啊32 分钟前
Python之--集合
开发语言·python·编程
胡耀超1 小时前
基于Docker的GPU版本飞桨PaddleOCR部署深度指南(国内镜像)2025年7月底测试好用:从理论到实践的完整技术方案
运维·python·docker·容器·ocr·paddlepaddle·gpu
小关会打代码2 小时前
Python编程进阶知识之第四课处理数据(pandas)
python·机器学习·pandas·数据处理
WJ.Polar2 小时前
Python柱状图
python·信息可视化
一百天成为python专家3 小时前
数据可视化
开发语言·人工智能·python·机器学习·信息可视化·numpy
倒悬于世6 小时前
开源的语音合成大模型-Cosyvoice使用介绍
人工智能·python·语音识别
惜.己6 小时前
pytest中使用skip跳过某个函数
开发语言·python·测试工具·pytest
挽风8217 小时前
Excel file format cannot be determined, you must specify an engine manually.
python
叫我:松哥8 小时前
基于网络爬虫的在线医疗咨询数据爬取与医疗服务分析系统,技术采用django+朴素贝叶斯算法+boostrap+echart可视化
人工智能·爬虫·python·算法·django·数据可视化·朴素贝叶斯