MimicTalk:字节跳动和浙江大学联合推出 15 分钟生成 3D 说话人脸视频的生成模型

❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. MimicTalk 是字节跳动和浙江大学联合开发的基于 NeRF 技术的 3D 说话人脸视频生成模型。
  2. 该模型能够在 15 分钟内生成个性化且富有表现力的 3D 说话人脸视频。
  3. MimicTalk 支持音频驱动生成特定人物的说话头像,显著提高了视频质量和训练效率。

正文(附运行示例)

MimicTalk 是什么

MimicTalk 是一种基于 NeRF(神经辐射场)技术的 3D 说话人脸视频生成模型,由字节跳动和浙江大学共同研发。该模型能够在极短时间内(仅需 15 分钟)生成个性化且富有表现力的 3D 说话人脸视频,显著提高了训练效率和视频质量。

MimicTalk 的主要功能

  • 快速个性化训练:在 15 分钟内完成对新身份的适应和训练。
  • 高质量视频生成:生成的视频在视觉质量上超越以往技术。
  • 表现力增强:捕捉和模仿目标人物的动态说话风格。
  • 上下文学习:从上下文中学习目标人的说话风格,提高面部动作的自然度。
  • 音频驱动:支持用音频输入驱动特定人物的 3D 说话头像。

MimicTalk 的技术原理

  • 人-不可知 3D 人脸生成模型:预训练的通用 3D 人脸生成模型,能处理单张图片输入。
  • 静态-动态混合适应流程:学习特定身份的静态外观和动态特征,基于优化 3D 人脸表征和低秩适应技术。
  • 上下文风格化的音频到运动模型(ICS-A2M):生成与目标人物说话风格相匹配的面部动作。
  • Flow Matching 模型:预测数据点的速度场,指导数据点从先验分布向目标分布移动。
  • 推理过程:结合音频输入与参考视频,生成高质量的说话人脸视频。

如何运行 MimicTalk

安装环境

请参照环境配置文档,配置 Conda 环境mimictalk

下载预训练与第三方模型

3DMM BFM 模型

下载 3DMM BFM 模型:Google Drive

预训练模型

下载预训练的 MimicTalk 相关 Checkpoints:Google Drive

MimicTalk 训练与推理的最简命令

bash 复制代码
python inference/train_mimictalk_on_a_video.py # 训练模型
python inference/mimictalk_infer.py # 推理模型

资源

  • 关注并回复公众号【58】或【MimicTalk】获取相关项目资源。

❤️ 如果你也关注大模型与 AI 的发展现状,且对大模型应用开发非常感兴趣,我会快速跟你分享最新的感兴趣的 AI 应用和热点信息,也会不定期分享自己的想法和开源实例,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关推荐
G.E.N.33 分钟前
开源!RAG竞技场(2):标准RAG算法
大数据·人工智能·深度学习·神经网络·算法·llm·rag
西西弗Sisyphus43 分钟前
如果让计算机理解人类语言- Word2Vec(Word to Vector,2013)
人工智能·word·word2vec
ajassi20001 小时前
开源 C# .net mvc 开发(八)IIS Express轻量化Web服务器的配置和使用
linux·开源·c#·mvc·.net
前端双越老师1 小时前
30 行代码 langChain.js 开发你的第一个 Agent
人工智能·node.js·agent
HelloGitHub1 小时前
从被喷“假开源”到登顶 GitHub 热榜,这个开源项目上演王者归来!
开源·github
东坡肘子1 小时前
高温与奇怪的天象 | 肘子的 Swift 周报 #092
人工智能·swiftui·swift
wei_shuo2 小时前
百度开源文心 4.5 系列开源大模型 GitCode 本地化部署,硅基流动:文心 vs. DeepSeek vs. Qwen 3.0 深度测评
百度·开源·文心大模型·gitcode
KaneLogger2 小时前
视频转文字,别再反复拖进度条了
前端·javascript·人工智能
度假的小鱼2 小时前
从 “人工编码“ 到 “AI 协同“:大模型如何重塑软件开发的效率与范式
人工智能
zm-v-159304339863 小时前
ArcGIS 水文分析升级:基于深度学习的流域洪水演进过程模拟
人工智能·深度学习·arcgis