语音驱动唇形

智慧医疗探索者2 年前
深度学习·数字人·语音驱动唇形
语音驱动数字人唇形模型：SadTalker-Video-Lip-Sync本项目基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。