LatentSync本地部署教程:基于音频精准生成唇形高度同步视频

LatentSync 是字节跳动联合北京交通大学推出的一个端到端的唇形同步框架,以下是对其的详细介绍:

一、技术基础

LatentSync 基于音频条件的潜在扩散模型,无需任何中间的 3D 表示或 2D 特征点。它利用了 Stable Diffusion 的强大生成能力,能够捕捉复杂的视听关联,并生成动态逼真的说话视频。

二、核心特点

  1. 唇形同步生成 :根据输入的音频,LatentSync 能够生成与之匹配的唇部运动,使视频中的人物嘴唇与音频同步。这一特点使其适用于配音、虚拟头像等场景。
  2. 高分辨率视频生成 :LatentSync 能够生成高分辨率的视频,克服了传统扩散模型在像素空间进行扩散时对硬件要求高的限制。
  3. 动态逼真效果 :生成的视频具有动态逼真的效果,能够捕捉到与情感语调相关的细微表情,使人物的说话更加自然生动。
  4. 时间一致性增强 :为了解决扩散模型在不同帧间扩散过程不一致导致的时间一致性问题,LatentSync 引入了 Temporal REPresentation Alignment(TREPA)方法。该方法使用大规模自监督视频模型提取时间表示,增强生成帧与真实帧的时间一致性,同时保持唇同步的准确性。

三、技术创新

  1. 端到端框架 :LatentSync 采用端到端的方式,无需中间运动表示,能够直接建模复杂的音频与视觉之间的关系。
  2. TREPA 机制 :通过 TREPA 机制,LatentSync 能够增强时间一致性,确保生成的视频在口型同步准确性的同时,能够在时间上保持连贯。
  3. SyncNet 优化 :LatentSync 解决了 SyncNet 的收敛问题,并显著提高了唇同步的准确性。这一优化经验也可应用于其他利用 SyncNet 的唇部同步和音频驱动的肖像动画方法。

四、项目地址

github地址:

https://github.com/bytedance/LatentSync

五、部署

1.设置环境

安装所需的软件包并通过以下方式下载检查点:

source setup_env.sh

如果下载成功,检查点应如下所示:

./checkpoints/
|-- latentsync_unet.pt
|-- latentsync_syncnet.pt
|-- whisper
|   -- tiny.pt 
|-- auxiliary 
|   |-- 2DFAN4-cd938726ad.zip 
|   |-- i3d_torchscript.pt 
|   |-- koniq_pretrained.pkl 
|   |-- s3fd-619a316812.pth 
|   |-- sfd_face.pth 
|   |-- syncnet_v2.model 
|   |-- vgg16-397923af.pth 
|   -- vit_g_hybrid_pt_1200e_ssv2_ft.pth

这些已经包括 latentsync 训练和推理所需的所有检查点。如果您只想尝试推理,您只需从 HuggingFace 存储库下载 latentsync_unet.pttiny.pt

2.推理

运行脚本进行推理,这需要大约 6.5 GB 的 GPU 内存。

./inference.sh

您可以将参数更改为 1.5 以提高口型同步精度。

相关推荐
谨慎谦虚18 分钟前
Trae 体验:探索被忽视的 Chat 模式
人工智能·trae
北极的树21 分钟前
AI驱动的大前端开发工作流
人工智能
余~~1853816280033 分钟前
矩阵碰一碰发视频的后端源码技术,支持OEM
线性代数·矩阵·音视频
IT古董38 分钟前
【漫话机器学习系列】100.L2 范数(L2 Norm,欧几里得范数)
人工智能·机器学习
小天努力学java1 小时前
【面试系列】Java开发--AI常见面试题
java·人工智能·面试
数造科技1 小时前
紧随“可信数据空间”政策风潮,数造科技正式加入开放数据空间联盟
大数据·人工智能·科技·安全·敏捷开发
@ V:ZwaitY091 小时前
如何打造TikTok矩阵:多账号管理与内容引流的高效策略
人工智能·矩阵·tiktok
lcw_lance2 小时前
人工智能(AI)的不同维度分类
人工智能·分类·数据挖掘
夏莉莉iy2 小时前
[MDM 2024]Spatial-Temporal Large Language Model for Traffic Prediction
人工智能·笔记·深度学习·机器学习·语言模型·自然语言处理·transformer
程序员古德2 小时前
《论软件的可靠性评价》审题技巧 - 系统架构设计师
人工智能·软件可靠性评价·考点概述·审题过程·可靠性模型·应用分析