阿里又出王炸,开源3D数字人神器:1张照片,一键变3D数字人(附保姆级教程)

AI 数字人的应用,可以说是越来越广泛了。

比如说用 AI 数字人做带货视频,实现副业变现;

再比如说用 AI 数字人来做科普视频、教学视频等,可以大大提高制作效率,降低制作成本,等等

之前分享了不少 AI 数字人工具,可以发现市面上大部分 AI 数字人工具,基本都是收费的。

还有一些 AI 数字人工具,是会送免费额度的。但额度用完,就需要付费使用了。

毕竟也都有成本嘛~

今天就分享一个完全免费可用的数字人。

最近看到阿里开源了 LHM 可驱动 3D 数字人生成模型

LHM,一张照片,就可快速生成 3D 数字人。可以使用生成的 3D 数字人,替换视频中的人物,让 3D 数字人做出任意指定的动作。

LHM 项目地址:

lingtengqiu.github.io/LHM

从官方给出的一些示例视频来看,3D 数字人生成的效果,是不是还不错,一起来看看怎么用~

一、实操教程

LHM 支持部署到本地,可以完全免费使用。

懂技术的小伙伴可以自己尝试部署,而且 LHM 也支持了 ComfyUI,在 Github 上附有官方的安装指导教程。

LHM GitHub 地址:

github.com/aigc3d/LHM

如果不想自己部署,阿里提供了 2 个在线体验网址,打开就能使用:

体验网址 1:ModelScope(国内可用)

modelscope.cn/studios/Dam... (官方API 地址)

进来后看到 Motionshop2,咦,是不是觉得有点熟悉呢?

去年在分享网上爆火的「机器人做饭视频」制作的时候,提到过 Motionshop 这个工具:

爆了,流量真猛!用国内大厂这款免费的AI工具,5分钟制作机器人爆款视频(附详细教程)

那 Motionshop2 和之前介绍的 Motionshop 有什么区别呢?

看了下,之前的 Motionshop,只支持从系统自带的这些角色里选,而 Motionshop2 支持「上传自定义形象」了。

ps:Motionshop 的功能,目前已经在手机 APP 中上线了。在「通义」APP 中就可以使用。

期待后续 Motionshop2 也能更新到「通义」APP 中,这样大家使用就更方便了。

体验网址 2 :HuggingFace(需特殊网络)

huggingface.co/spaces/3DAI...

下面就以 ModelScope 来演示下怎么用。

1、上传视频

打开 Motionshop2 后,上传视频(不超过 15 秒),或者从下面的「示例」中选择视频:

2、上传人物图片

上传需要替换视频中人物的照片,也可以直接从示例中选择。

支持多人替换,所以可以看到下图中,可以上传 3 张照片,来分别替换红框、绿框和蓝框中的人物。

在第一步上传视频后,它会自动用不同颜色的框,标出目标人物:

3、替换

照片上传好后,点「开始」按钮就可以等待视频输出了。

稍微等一会儿,生成好的视频就会出现在右侧。

点「↓」按钮,可以进行下载:

下面是替换好的视频:

对比下原视频:

从效果来看,不管是「动作的流畅度」还是「细节的还原度」,都还是挺不错的。

二、LHM 应用场景

LHM 这项技术有哪些应用场景呢?

① 高效生成游戏角色

LHM 可将玩家上传的照片,快速转化为可动画的 3D 角色。

生成的 3D 数字人,可以直接融入游戏渲染管线。

② 影视与动画制作领域

比如上传一张人物照片,可以快速完成 3D 数字人的动作迁移,降低影视制作成本。

③ 虚拟现实探索

考虑与 VR 眼镜结合的方向

④ 做爆款短视频获取流量

类似之前分享的这个玩法,用生成的 3D 数字人,替换视频中的人物,做爆款短视频,获取流量,实现副业变现:

三、总结

据了解到,自从阿里通义千问成立以来,已经陆续向全球开源了 200+ 模型!

我愿称之为开源的神~

其中包括 NLP、CV 等各个领域,现在又把数字人领域的技术给开源了。

LHM 可驱动 3D 数字人生成模型:

  • 可以让单张照片秒变可驱动的 3D 数字人
  • 上传「一段视频 + 人物照片」,就可以让照片中的人物替换视频中的人物,做出任意指定动作
  • 可应用于游戏、影视、动画制作、虚拟现实等领域
  • 支持本地部署,也提供了在线体验地址
  • 完全免费使用

感兴趣的快去试试吧~


往期文章

2024年终AI工具汇总:9大AI领域,70+精选AI工具,全都在这了!(建议收藏)

更多 AI 工具,见【AI工具】专栏。

相关推荐
AlbertZein15 小时前
Step-5-Preview 上手实测:3D 游戏、金融分析、网页设计一次跑完
人工智能·aigc
AIGCmagic社区18 小时前
文档智能专题:小模型后训练怎么选样本?PaddleOCR-VL-1.6按三类弱点挖掘
人工智能·aigc·文档智能
AIGCmagic社区18 小时前
文档智能专题:HunyuanOCR-1.5用DFlash把整页解码压到1.4秒
人工智能·aigc·文档智能
小虎AI生活18 小时前
腾讯开源了一个项目,让 AI 直接用你已经登录好的浏览器
aigc·ai编程
plainGeekDev19 小时前
Harness 实战:用 Android 登录模块搭一套可靠的 Agent 开发环境
aigc·ai编程·claude
全栈弄潮儿21 小时前
周复盘:把 AI 当实习生,还是当工程搭档?
aigc·openai·ai编程
程序员清风1 天前
系统架构设计:模型服务、业务服务与知识库如何拆分
人工智能·ai·架构·aigc
倔强的石头_1 天前
我给 WorkBuddy 设了个闹钟:每天上午十点半,一份 AI 日报自动送进微信
aigc
李白客1 天前
向量数据库怎么选:RAG 项目最该比较的 8 个维度(深度拆解)
数据库·aigc
へ蟲児.1 天前
国内适合设计师的AIGC学习平台哪个好?能贴合商业设计实战
aigc