照片也能说话了?嘴型表情全同步,AI数字人时代要来了

SadTalker是一款先进的人工智能模型,它通过从音频中学习生成3D运动系数,并使用全新的三维面部渲染器来生成头部运动,只需传入一张照片和一段音频,就能生成高质量的AI数字人视频

工作原理

1、显式地对音频和不同类型的运动系数之间的联系进行单独建模

2、通过蒸馏系数和3D渲染的脸部,从音频中学习准确的面部表情

3、通过条件VAE设计PoseVAE来合成不同风格的头部运动

4、使用生成的三维运动系数映射到人脸渲染的无监督三维关键点空间,合成最终视频

SadTalker生成后的人物头部运动规律,面部表情自然,口型也和音频的内容保持一致(小姐姐还会眨眼睛!)

最新中文版:

百度网盘: https://pan.baidu.com/s/1AMInL9l_LxfQ0g3j1TrWQA?pwd=8r4f

使用方法

1、上传人物图片和音频(音频可以是英文、中文、歌曲)

2、设置参数(下面会详细介绍)

3、点击"生成"按钮

参数说明

· 姿式风格:调节头部运动风格,默认0

· 表达量表:人物表情丰富程度,默认1

· 生成中的批量大小:生成视频的速度,默认1,显卡好可以适当拉大

· 预处理

crop:从图片中截取头部做视频

resize:拉伸图片,人物被压缩选择此项

full:全身照做视频

extcrop:加强版crop,主要聚焦头部

extfull:加强版全身

· 面部渲染:两种模式可自由尝试

· GFPGAN:让面部高清化

在控制台可以查看当前的处理进度,程序执行完毕会输出信息The generated video is named

生成的视频保存在SadTalker\results路径下,也可以在网页端下载

在操作界面下方的Examples中提供了部分图片和音频,请点击"图片源"选择使用

注意事项

①项目安装路径不要包含中文

②推荐使用GTX1060以上显存运行此项目

③使用过程中若不慎关闭软件后台,请重新打开,并刷新网页

相关推荐
AI2AGI12 小时前
天天AI-20250121:全面解读 AI 实践课程:动手学大模型(含PDF课件)
大数据·人工智能·百度·ai·文心一言
鸭鸭鸭进京赶烤15 小时前
OpenAI秘密重塑机器人军团: 实体AGI的崛起!
人工智能·opencv·机器学习·ai·机器人·agi·机器翻译引擎
佛州小李哥18 小时前
在亚马逊云科技上用AI提示词优化功能写出漂亮提示词(下)
人工智能·科技·ai·语言模型·云计算·aws·亚马逊云科技
大模型铲屎官19 小时前
玩转 LangChain:从文档加载到高效问答系统构建的全程实战
人工智能·python·ai·langchain·nlp·文档加载·问答系统构建
Ai多利1 天前
2025发文新方向:AI+量化 人工智能与金融完美融合!
人工智能·ai·金融·量化
p2052 天前
搭建个人AI知识库-DIFY
ai
佛州小李哥2 天前
在亚马逊云科技上高效蒸馏低成本、高精度的Llama 3.1 405B模型(上篇)
人工智能·科技·ai·语言模型·云计算·aws·亚马逊云科技
wit_@2 天前
【深入解析】棋类游戏算法:Minimax, Negamax, 蒙特卡洛树搜索与AlphaZero
python·ai·negamax
xianfianpan3 天前
史上最简单open-webui安装方式!!!
python·深度学习·神经网络·ai
Natsuagin3 天前
在Windows上轻松部署本地大语言模型:Ollama与Open-WebUI的完整指南
windows·ai·语言模型