开源3d数字人学习笔记2025

目录

开源数字人解决方案fay:

echomimic_v2

[淘宝TaoAvatar 3d数字人,可以手机端运行](#淘宝TaoAvatar 3d数字人,可以手机端运行)

字节:MimicTalk

[字节开源 PersonaTalk](#字节开源 PersonaTalk)

[腾讯开源数字人MuseTalk 2d数字人](#腾讯开源数字人MuseTalk 2d数字人)


|------------------------------|-----------------|----------------------------------------------|-------------|------------------------------------------------------------------------------------------------------|
| LAM (Large Avatar Model) | 超写实3D人头生成与驱动 | 基于3D高斯溅射,无需神经网络后处理,跨平台超实时渲染(移动端可达120FPS) | 单张图像 | GitHub |
| IDOL | 高质量、可动画的3D全身生成 | 基于Transformer,秒级重建,无需额外绑骨,支持形变与纹理编辑 | 单张图像 | GitHub |
| MNN-TaoAvatar | 端侧实时3D数字人语音交互 | 集成ASR、LLM、TTS、A2BS全链路,可在手机/XR设备上运行 | 多视角视频(用于建模) | GitHub |
| HAvatar | 高保真动态人头Avatar创建 | 基于NeRF与参数化模板结合,支持基于单视角视频的重建与表情控制 | 单视角视频 | 代码目录见,具体地址需查阅相关项目 |
| StructLDM | 3D人体生成与编辑 | 结构化潜在扩散模型,支持身份交换、局部服装编辑等 | 2D图像 | 代码目录见,具体地址需查阅相关项目 |
| NVIDIA Audio2Face | 语音驱动面部动画 | 生成式AI将语音直接转换为逼真的面部表情与口型 | 音频 | 已开源,具体地址见官方发布 |

开源数字人解决方案fay:

https://github.com/xszyou/Fay

echomimic_v2

https://github.com/antgroup/echomimic_v2

淘宝TaoAvatar 3d数字人,可以手机端运行

介绍资料,里面有语音语音驱动,语音识别等模型:

https://www.thepaper.cn/newsDetail_forward_31039750

Mnn3dAvatar

论文地址:https://arxiv.org/abs/2503.17032v1

开源地址:https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md

TaoAvatar 基于先进的 3D 高斯泼溅技术,提供了一套全身互动式的真人数字人解决方案。它通过多视角视频的输入,可以迅速生成具有高逼真度的数字人形象,这些形象不仅能够精准地捕捉到细腻的面部表情和手势动作,甚至连衣物细微的褶皱以及头发的自然摆动都能清晰呈现,带来一种自然而真实的视觉体验。

介绍:https://github.com/alibaba/MNN/blob/master/apps/Android/MnnTaoAvatar/README_CN.md#releases

由于需要将多个模型同时运行在手机上,需要性能高的芯片内存足够大

  • 旗舰芯片级性能:高通骁龙8 Gen 3或联发科天玑9200以上级别
  • 内存至少8GB
  • 手机存储需至少5GB空间用于存放模型文件
  • ARM64架构

字节:MimicTalk

字节开源 PersonaTalk

只不过今天讲的MimicTalk开源了,直接就能用,不用看着那论文大呼"不开源发个论文干什么"

MimicTalk跟PersonaTalk还是有本质区别的,MimicTalk是需要训练的3D数字人PersonaTalk还是wav2lip那种贴上去的嘴型。

MimicTalk的训练速度是非常快的,训练一个数字人只要15分钟,内存占用也不大,实际只用了8个多G。

腾讯开源数字人MuseTalk 2d数字人

https://github.com/TMElyralab/MuseTalk?tab=readme-ov-file

相关推荐
中杯可乐多加冰17 小时前
服务编排搭建案例详解|基于smardaten实现协同办公平台复杂交互
人工智能·低代码
AndrewHZ17 小时前
【图像处理基石】图像匹配技术:从原理到实践,OpenCV实现与进阶方向
图像处理·人工智能·opencv·图像匹配·算法原理
有点笨的蛋17 小时前
从零构建你的 AIGC 后端:pnpm + dotenv + OpenAI SDK 的现代工程实践
人工智能·node.js
openHiTLS密码开源社区17 小时前
密码学与人工智能的深度融合:玄知大模型开启安全智能新纪元
人工智能·密码学·gpt-4o·openhitls·玄知大模型·sm4-hctr·密码学大模型
AI妈妈手把手17 小时前
YOLO V2全面解析:更快、更准、更强大的目标检测算法
人工智能·算法·yolo·目标检测·计算机视觉·yolo v2
一个向上的运维者17 小时前
AI重塑云计算与运维:从被动响应到智能自治的进化之路
运维·人工智能·云计算
数智前线17 小时前
筑牢智算“地基”:华为以RAS理念重塑AIDC建设新模式
大数据·人工智能
我狸才不是赔钱货18 小时前
CUDA:通往大规模并行计算的桥梁
c++·人工智能·pytorch
MicroTech202518 小时前
MLGO微算法科技 LOP算法:实现多用户无线传感系统中边缘协同AI推理的智能优化路径
人工智能·科技·算法
柠檬甜不甜呀18 小时前
海康相机与机器人标定
数码相机·计算机视觉·机器人