阿里又出王炸,开源3D数字人神器:1张照片,一键变3D数字人(附保姆级教程)

AI 数字人的应用,可以说是越来越广泛了。

比如说用 AI 数字人做带货视频,实现副业变现;

再比如说用 AI 数字人来做科普视频、教学视频等,可以大大提高制作效率,降低制作成本,等等

之前分享了不少 AI 数字人工具,可以发现市面上大部分 AI 数字人工具,基本都是收费的。

还有一些 AI 数字人工具,是会送免费额度的。但额度用完,就需要付费使用了。

毕竟也都有成本嘛~

今天就分享一个完全免费可用的数字人。

最近看到阿里开源了 LHM 可驱动 3D 数字人生成模型

LHM,一张照片,就可快速生成 3D 数字人。可以使用生成的 3D 数字人,替换视频中的人物,让 3D 数字人做出任意指定的动作。

LHM 项目地址:

lingtengqiu.github.io/LHM

从官方给出的一些示例视频来看,3D 数字人生成的效果,是不是还不错,一起来看看怎么用~

一、实操教程

LHM 支持部署到本地,可以完全免费使用。

懂技术的小伙伴可以自己尝试部署,而且 LHM 也支持了 ComfyUI,在 Github 上附有官方的安装指导教程。

LHM GitHub 地址:

github.com/aigc3d/LHM

如果不想自己部署,阿里提供了 2 个在线体验网址,打开就能使用:

体验网址 1:ModelScope(国内可用)

modelscope.cn/studios/Dam... (官方API 地址)

进来后看到 Motionshop2,咦,是不是觉得有点熟悉呢?

去年在分享网上爆火的「机器人做饭视频」制作的时候,提到过 Motionshop 这个工具:

爆了,流量真猛!用国内大厂这款免费的AI工具,5分钟制作机器人爆款视频(附详细教程)

那 Motionshop2 和之前介绍的 Motionshop 有什么区别呢?

看了下,之前的 Motionshop,只支持从系统自带的这些角色里选,而 Motionshop2 支持「上传自定义形象」了。

ps:Motionshop 的功能,目前已经在手机 APP 中上线了。在「通义」APP 中就可以使用。

期待后续 Motionshop2 也能更新到「通义」APP 中,这样大家使用就更方便了。

体验网址 2 :HuggingFace(需特殊网络)

huggingface.co/spaces/3DAI...

下面就以 ModelScope 来演示下怎么用。

1、上传视频

打开 Motionshop2 后,上传视频(不超过 15 秒),或者从下面的「示例」中选择视频:

2、上传人物图片

上传需要替换视频中人物的照片,也可以直接从示例中选择。

支持多人替换,所以可以看到下图中,可以上传 3 张照片,来分别替换红框、绿框和蓝框中的人物。

在第一步上传视频后,它会自动用不同颜色的框,标出目标人物:

3、替换

照片上传好后,点「开始」按钮就可以等待视频输出了。

稍微等一会儿,生成好的视频就会出现在右侧。

点「↓」按钮,可以进行下载:

下面是替换好的视频:

对比下原视频:

从效果来看,不管是「动作的流畅度」还是「细节的还原度」,都还是挺不错的。

二、LHM 应用场景

LHM 这项技术有哪些应用场景呢?

① 高效生成游戏角色

LHM 可将玩家上传的照片,快速转化为可动画的 3D 角色。

生成的 3D 数字人,可以直接融入游戏渲染管线。

② 影视与动画制作领域

比如上传一张人物照片,可以快速完成 3D 数字人的动作迁移,降低影视制作成本。

③ 虚拟现实探索

考虑与 VR 眼镜结合的方向

④ 做爆款短视频获取流量

类似之前分享的这个玩法,用生成的 3D 数字人,替换视频中的人物,做爆款短视频,获取流量,实现副业变现:

三、总结

据了解到,自从阿里通义千问成立以来,已经陆续向全球开源了 200+ 模型!

我愿称之为开源的神~

其中包括 NLP、CV 等各个领域,现在又把数字人领域的技术给开源了。

LHM 可驱动 3D 数字人生成模型:

  • 可以让单张照片秒变可驱动的 3D 数字人
  • 上传「一段视频 + 人物照片」,就可以让照片中的人物替换视频中的人物,做出任意指定动作
  • 可应用于游戏、影视、动画制作、虚拟现实等领域
  • 支持本地部署,也提供了在线体验地址
  • 完全免费使用

感兴趣的快去试试吧~


往期文章

2024年终AI工具汇总:9大AI领域,70+精选AI工具,全都在这了!(建议收藏)

更多 AI 工具,见【AI工具】专栏。

相关推荐
GoMaxAi8 小时前
金融行业 AI 报告自动化:Word+PPT 双引擎生成方案
人工智能·unity·ai作画·金融·自动化·aigc·word
AI绘画咪酱11 小时前
【CSDN首发】Stable Diffusion从零到精通学习路线分享
人工智能·学习·macos·ai作画·stable diffusion·aigc
量子位13 小时前
北京队再上大分:新 AI 一句话就能搞开发,代码实时可见 | 免费可用
人工智能·aigc
BennuCTech20 小时前
AIGC系列之Dify使用教程
aigc
后端小肥肠21 小时前
MCP协议实战指南:在VS Code中实现PostgreSQL到Excel的自动化迁移
人工智能·ai·aigc
爱吃的小肥羊21 小时前
Cursor使用教程,纯小白也看得懂!
aigc
Goboy1 天前
Java版的深度学习 · 手撕 DeepLearning4J实现手写数字识别 (附UI效果展示)
llm·aigc·ai编程
Goboy1 天前
用AI从零理解推荐系统
llm·aigc·ai编程
谦行1 天前
AI 基础知识从 -1 到 0.1
机器学习·aigc·ai编程