腾讯发布数字人框架MuseTalk 1.5,开放训练逻辑,生成效果进一步优化~

简介

MuseTalk 是一个开源模型,发布在 GitHub 和 Hugging Face ,支持与 MuseV 结合,形成完整的虚拟人类生成解决方案。它在 NVIDIA Tesla V100 上实现 30fps+ 的实时推理,处理多种语言音频(如中文、英文、日语),并通过 UNet 架构和 HDTF 数据集训练 。

新版更新细节

  • 版本发布与时间线

    • MuseTalk 1.5 版本于 2025 年 3 月 28 日发布,显著改进于 1.0 版本 。
    • 技术报告更新于 2024 年 10 月 18 日,详细说明了模型的架构和训练方法 。
  • 性能提升

    • 损失函数集成:MuseTalk 1.5 集成了感知损失(perceptual loss)、生成对抗网络损失(GAN loss)和同步损失(sync loss),显著提升了模型的整体性能 。

      感知损失提升视觉质量,确保生成的视频在细节上更清晰。

    • GAN 损失增强生成图像的真实感,减少伪影。

    • 同步损失优化唇部与音频的匹配精度,减少时间延迟。

    • 效果:这些改进确保了更高的清晰度、身份一致性和精确的唇部-语音同步 。

  • 训练策略优化

    • 两阶段训练策略:MuseTalk 1.5 采用了两阶段训练策略,可能包括先预训练再微调的流程 。

      • 第一阶段可能专注于基础特征提取,第二阶段优化唇部同步细节,提升模型的稳定性和泛化能力。
    • 时空数据采样方法:引入了时空数据采样(spatio-temporal data sampling),在训练期间选择与目标帧头部姿势相似的参考图像 。

      • 此方法帮助模型专注于精确的唇部运动,过滤冗余信息,平衡视觉质量和唇部同步精度。
  • 功能与灵活性
    • 多语言支持:支持中文、英文、日语等语言音频输入,适合全球化的视频 dubbing 需求 。

    • 参数调整:通过 bbox_shift 参数调整面部区域中心点,控制嘴巴的张合程度。例如,设置负值减少嘴巴张开,适合精细调整 。

    • 与 MuseV 结合:作为虚拟人类生成解决方案,建议先用 MuseV 生成视频(如文本到视频或图像到视频),再用 MuseTalk 处理唇部同步 。

性能对比


看看效果

相关文献

技术报告:https://arxiv.org/pdf/2410.10122

github地址:https://github.com/TMElyralab/MuseTalk

模型下载:https://huggingface.co/TMElyralab/MuseTalk

相关推荐
Ronin-Lotus3 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps4 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯4 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI5 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
Ai墨芯1115 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师5 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot5 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3935 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
jonyleek6 小时前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
MQ_SOFTWARE7 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融