阿里又出王炸,开源3D数字人神器:1张照片,一键变3D数字人(附保姆级教程)

AI 数字人的应用,可以说是越来越广泛了。

比如说用 AI 数字人做带货视频,实现副业变现;

再比如说用 AI 数字人来做科普视频、教学视频等,可以大大提高制作效率,降低制作成本,等等

之前分享了不少 AI 数字人工具,可以发现市面上大部分 AI 数字人工具,基本都是收费的。

还有一些 AI 数字人工具,是会送免费额度的。但额度用完,就需要付费使用了。

毕竟也都有成本嘛~

今天就分享一个完全免费可用的数字人。

最近看到阿里开源了 LHM 可驱动 3D 数字人生成模型。

LHM,一张照片,就可快速生成 3D 数字人。可以使用生成的 3D 数字人,替换视频中的人物,让 3D 数字人做出任意指定的动作。

LHM 项目地址:

lingtengqiu.github.io/LHM

从官方给出的一些示例视频来看,3D 数字人生成的效果,是不是还不错,一起来看看怎么用~

一、实操教程

LHM 支持部署到本地,可以完全免费使用。

懂技术的小伙伴可以自己尝试部署,而且 LHM 也支持了 ComfyUI,在 Github 上附有官方的安装指导教程。

LHM GitHub 地址:

github.com/aigc3d/LHM

如果不想自己部署,阿里提供了 2 个在线体验网址,打开就能使用:

体验网址 1:ModelScope(国内可用)

modelscope.cn/studios/Dam... (官方API 地址)

进来后看到 Motionshop2,咦,是不是觉得有点熟悉呢?

去年在分享网上爆火的「机器人做饭视频」制作的时候,提到过 Motionshop 这个工具:

爆了,流量真猛!用国内大厂这款免费的AI工具,5分钟制作机器人爆款视频(附详细教程)

那 Motionshop2 和之前介绍的 Motionshop 有什么区别呢?

看了下,之前的 Motionshop,只支持从系统自带的这些角色里选,而 Motionshop2 支持「上传自定义形象」了。

ps:Motionshop 的功能,目前已经在手机 APP 中上线了。在「通义」APP 中就可以使用。

期待后续 Motionshop2 也能更新到「通义」APP 中,这样大家使用就更方便了。

体验网址 2 :HuggingFace(需特殊网络)

huggingface.co/spaces/3DAI...

下面就以 ModelScope 来演示下怎么用。

1、上传视频

打开 Motionshop2 后,上传视频(不超过 15 秒),或者从下面的「示例」中选择视频:

2、上传人物图片

上传需要替换视频中人物的照片,也可以直接从示例中选择。

支持多人替换,所以可以看到下图中,可以上传 3 张照片,来分别替换红框、绿框和蓝框中的人物。

在第一步上传视频后,它会自动用不同颜色的框,标出目标人物:

3、替换

照片上传好后,点「开始」按钮就可以等待视频输出了。

稍微等一会儿,生成好的视频就会出现在右侧。

点「↓」按钮,可以进行下载:

下面是替换好的视频:

对比下原视频:

从效果来看,不管是「动作的流畅度」还是「细节的还原度」,都还是挺不错的。

二、LHM 应用场景

LHM 这项技术有哪些应用场景呢?

① 高效生成游戏角色

LHM 可将玩家上传的照片,快速转化为可动画的 3D 角色。

生成的 3D 数字人,可以直接融入游戏渲染管线。

② 影视与动画制作领域

比如上传一张人物照片,可以快速完成 3D 数字人的动作迁移,降低影视制作成本。

③ 虚拟现实探索

考虑与 VR 眼镜结合的方向

④ 做爆款短视频获取流量

类似之前分享的这个玩法,用生成的 3D 数字人,替换视频中的人物,做爆款短视频,获取流量,实现副业变现:

三、总结

据了解到,自从阿里通义千问成立以来,已经陆续向全球开源了 200+ 模型!

我愿称之为开源的神~

其中包括 NLP、CV 等各个领域,现在又把数字人领域的技术给开源了。

LHM 可驱动 3D 数字人生成模型:

  • 可以让单张照片秒变可驱动的 3D 数字人
  • 上传「一段视频 + 人物照片」,就可以让照片中的人物替换视频中的人物,做出任意指定动作
  • 可应用于游戏、影视、动画制作、虚拟现实等领域
  • 支持本地部署,也提供了在线体验地址
  • 完全免费使用

感兴趣的快去试试吧~


往期文章

2024年终AI工具汇总:9大AI领域,70+精选AI工具,全都在这了!(建议收藏)

更多 AI 工具,见【AI工具】专栏。

相关推荐
阿明副业观察1 小时前
AI视频生成设备选型指南:平板 vs 电脑,怎么选更高效?
大数据·人工智能·ai作画·aigc·电脑·音视频·ai写作
深频率2 小时前
272k提到500k:OpenAI顺手免了长上下文加价
aigc·openai
Evanfu02162 小时前
短剧硬字幕如何批量 OCR:从字幕区到整剧校对
aigc·音视频·视频·机器翻译·自动翻译
Evanfu02162 小时前
AI 短剧出海前要检查哪些版权、肖像和声音权利?
自然语言处理·aigc·音视频·视频·机器翻译·自动翻译
邵奈一4 小时前
HyperFrames上手:可编辑视频工程
aigc·视频制作·hyperframes
阿坡RPA16 小时前
GitHub 11万star:AI拆软件神器保姆级实操教程
aigc
AI创界者16 小时前
结构型模式的现代化演进:深入 Python 高级特性的装饰器与代理模式
人工智能·aigc
Sayai18 小时前
ComfyUI 一键换衣 2.0:FLUX Fill 服装一致性工作流全模型清单与新版避坑指南(12G 显存实测跑通)
人工智能·aigc·flux·图生图·comfyui
Csvn20 小时前
延迟别再看平均值了:AI 应用指标与告警实战(O03)
人工智能·aigc·agent
小虎AI生活21 小时前
三天11万星的逆天开源REA,逆向分析一切,软件开发的门槛被打到了零,最该慌的为什么不是大厂?
aigc·ai编程