MimicTalk:字节跳动和浙江大学联合推出 15 分钟生成 3D 说话人脸视频的生成模型

❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. MimicTalk 是字节跳动和浙江大学联合开发的基于 NeRF 技术的 3D 说话人脸视频生成模型。
  2. 该模型能够在 15 分钟内生成个性化且富有表现力的 3D 说话人脸视频。
  3. MimicTalk 支持音频驱动生成特定人物的说话头像,显著提高了视频质量和训练效率。

正文(附运行示例)

MimicTalk 是什么

MimicTalk 是一种基于 NeRF(神经辐射场)技术的 3D 说话人脸视频生成模型,由字节跳动和浙江大学共同研发。该模型能够在极短时间内(仅需 15 分钟)生成个性化且富有表现力的 3D 说话人脸视频,显著提高了训练效率和视频质量。

MimicTalk 的主要功能

  • 快速个性化训练:在 15 分钟内完成对新身份的适应和训练。
  • 高质量视频生成:生成的视频在视觉质量上超越以往技术。
  • 表现力增强:捕捉和模仿目标人物的动态说话风格。
  • 上下文学习:从上下文中学习目标人的说话风格,提高面部动作的自然度。
  • 音频驱动:支持用音频输入驱动特定人物的 3D 说话头像。

MimicTalk 的技术原理

  • 人-不可知 3D 人脸生成模型:预训练的通用 3D 人脸生成模型,能处理单张图片输入。
  • 静态-动态混合适应流程:学习特定身份的静态外观和动态特征,基于优化 3D 人脸表征和低秩适应技术。
  • 上下文风格化的音频到运动模型(ICS-A2M):生成与目标人物说话风格相匹配的面部动作。
  • Flow Matching 模型:预测数据点的速度场,指导数据点从先验分布向目标分布移动。
  • 推理过程:结合音频输入与参考视频,生成高质量的说话人脸视频。

如何运行 MimicTalk

安装环境

请参照环境配置文档,配置 Conda 环境mimictalk

下载预训练与第三方模型

3DMM BFM 模型

下载 3DMM BFM 模型:Google Drive

预训练模型

下载预训练的 MimicTalk 相关 Checkpoints:Google Drive

MimicTalk 训练与推理的最简命令

bash 复制代码
python inference/train_mimictalk_on_a_video.py # 训练模型
python inference/mimictalk_infer.py # 推理模型

资源

  • 关注并回复公众号【58】或【MimicTalk】获取相关项目资源。

❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关推荐
zm-v-1593043398614 分钟前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis
拓端研究室1 小时前
视频讲解|核密度估计朴素贝叶斯:业务数据分类—从理论到实践
人工智能·分类·数据挖掘
灵智工坊LingzhiAI1 小时前
人体坐姿检测系统项目教程(YOLO11+PyTorch+可视化)
人工智能·pytorch·python
昨日之日20061 小时前
Video Background Remover V3版 - AI视频一键抠像/视频换背景 支持50系显卡 一键整合包下载
人工智能·音视频
SHIPKING3932 小时前
【机器学习&深度学习】什么是下游任务模型?
人工智能·深度学习·机器学习
子燕若水6 小时前
Unreal Engine 5中的AI知识
人工智能
极限实验室7 小时前
Coco AI 实战(一):Coco Server Linux 平台部署
人工智能
杨过过儿7 小时前
【学习笔记】4.1 什么是 LLM
人工智能
巴伦是只猫8 小时前
【机器学习笔记Ⅰ】13 正则化代价函数
人工智能·笔记·机器学习
大千AI助手8 小时前
DTW模版匹配:弹性对齐的时间序列相似度度量算法
人工智能·算法·机器学习·数据挖掘·模版匹配·dtw模版匹配