视频和音频合成视频Easy_Wav2Lip

Easy_Wav2Lip 是使用视频和音频合成新的视频

Easy-WAV2lip是目前最成熟的数字人口型算法。

用时以及效率来说,三大主流算法 WAV2lip、Geneface++、AD-Nerf。WAV2lip>Geneface++=AD-Nerf

  1. 整体流程

第一步,加载视频/图片和音频/tts。用melspectrogram将wav文件拆分成mel_chunks。

第二步,调用face_detect模型,给出人脸检测结果(可以改造成从文件中读取),包装成4个数组batch:img_batch(人脸),mel_batch(语音),frame_batch(原图),coords_batch(坐标)

第三步,加载模型,进行计算。这个模型目前看下来就是简单的resnet,没有transfomer。另外mask也不是用分割模型,而是直接将图片下半部分全部作为mask😄,然后将mask图片拼接到原图片的色彩通道上作为输入。

第四步:预测出来的人脸拼接到原图上,输出位视频。

  1. 优缺点

优点:极其简单,一个人脸检测模型+一个基于CNN的lipsync模型,速度很快。

缺点:嘴唇经常是歪的,而且有变形;牙齿不断在闪烁。

比sadtalker丝滑多了

软件包运行:go-web.bat 双击就可以了

运行成功,用浏览器打开:http://127.0.0.1:7860/

运行成功。

可以上传一段视频和音频试试

生成中

一分钟视频合成花了50分钟

看看效果

813

最后,推荐一个默认效果比较好的参数,大家也可以根据自己的素材自行调节:

视频质量选项:Enhanced

分辨率选项:full resolution

Wav2Lip版本选项:Wav2Lip

启动追踪旧数据:True

启用脸部平滑:True

嘴部上边缘:0

嘴部下边缘:10

嘴部左边缘:0

嘴部右边缘:0

Mask尺寸:1

Mask羽化:1

启用嘴部追踪:True

启用调试:False

参考视频:如何用自己的形象生成AI数字人,代替自己出镜创作短视频和直播?零成本干货教学!_哔哩哔哩_bilibili

资源包有:

ChatTTS增强版一件整合包

AI数字人生成工具

EchoMimic照片转视频等

还有各种常见的AI常用提示词,比如网文写作

总的链接放下面了
⚙️AI吧教学日记 · AI工具和教程分享⚙️ · 语雀

有需要的小伙伴可自行领取

================================

构建中国人自己的私人GPT
构建中国人自己的私人GPT - 神经网络 - 金双石科技 -

(出处: 金双石科技)

AI绘图软件stable-diffusion 3
AI绘图软件stable-diffusion 3 - 神经网络 - 金双石科技 -

(出处: 金双石科技)

AI绘图软件fooocus
AI绘图软件fooocus - 神经网络 - 金双石科技 -

(出处: 金双石科技)

文字生成语音1
文字生成语音1 - 神经网络 - 金双石科技 -

(出处: 金双石科技)

图片和音频合成数字人SadTalker
图片和音频合成数字人SadTalker - 神经网络 - 金双石科技 -

(出处: 金双石科技)

视频和音频合成视频Easy_Wav2Lip
视频和音频合成视频Easy_Wav2Lip - 神经网络 - 金双石科技 -

(出处: 金双石科技)

3D模型和音频合成数字人
3D模型和音频合成数字人 - 神经网络 - 金双石科技 -

(出处: 金双石科技)

实时智能应答3D数字人
实时智能应答3D数字人 - 神经网络 - 金双石科技 -

(出处: 金双石科技)

AI模型生成数字人DeepFaceLive
AI模型生成数字人DeepFaceLive - 神经网络 - 金双石科技 -

(出处: 金双石科技)

相关推荐
chh5638 小时前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert
TomEval8 小时前
【测AI】第26篇:线上模型监控与告警体系 — 测试不是终点
人工智能·python·功能测试·ai
ZhengEnCi9 小时前
AI 总模仿代码库里的过时写法怎么办:先清坏样例,再用类型与测试让 AI 无法犯错
人工智能·ai编程
一只爱撸猫的程序猿9 小时前
五周、两个开源仓库、九次拦截之后:AI 时代程序员缺的到底是什么
人工智能·后端·开源
GitCode官方9 小时前
开源鸿蒙跨平台直播|AI 时代,用 cj-tauri 开发鸿蒙 PC 应用
人工智能·华为·harmonyos·atomgit
老金带你玩AI10 小时前
GPT-6.2更强更便宜了,为什么还有人骂?
人工智能
CyrusYiVPP10 小时前
实测 uv 0.13.7:同一套包,pip 装 94 秒,它只用 19 秒
人工智能·python
泯泷10 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
罗西的思考10 小时前
【轻量化复刻大模型 / KIMI K3】Muon 优化器及 训练系统
人工智能·算法·机器学习
屿华AI10 小时前
AUTOSAR 实战-诊断工具 | 用 Claude Code 开发诊断测试工具:AI 协作开发实践
人工智能·测试工具