之前分享了 6 款可以「让图片说话唱歌」的 AI 对口型工具:
只要上传一张照片 + 一段音频,就能生成唇形同步的对口型视频。
全部免费!6款AI对口型神器,让照片开口说话唱歌,早晚用得上,建议收藏!(附保姆级教程)
除了上面介绍的这 6 种,现在很多 AI 工具都集成了 AI 对口型功能。
但国内的 AI 对口型工具,大家用得最多的,应该就属即梦AI了。
比如像下面这些之前网上爆火的对口型视频,基本都是用即梦AI做的。
林黛玉怼人视频:
动物唱歌:
萌娃唱歌视频:
前阵子春节期间,萌娃对口型唱歌的视频,也是狠狠地赚了一波流量。
比如一些萌娃拜年类的、祝福类的,这类视频,每年都会火一次!
视频上传不方便,感兴趣可以看原文
还有很多场景。再比如,用即梦AI的对口型功能,制作虚拟数字人口播视频, 非常适合不愿意露脸的知识博主。
如果对即梦AI的对口型视频感兴趣,可以看之前写的两篇实操教程:
即梦AI对口型「电脑版」实操教程:
免费!又一款AI对口型神器,让照片开口说话唱歌,1分钟教会,吊打阿里EMO?(附保姆级教程)
即梦AI对口型「手机版」实操教程:
免费,手机可用!又一款AI对口型神器,只需1分钟,让照片开口说话唱歌!(手机版详细教程)
即梦AI的对口型功能之所以这么受大家欢迎,我觉得主要有下面这些优势:
- 时长较长:标准模式下,最长可生成 36 秒的对口型视频。在免费的对口型工具里,算是比较长的。
- 电脑、手机都可以使用
- 角色支持比较全:真人、卡通、动物角色都支持
- 免费可用:每天都有 66 ~ 100 的免费积分额度
- 适用场景广泛:演讲、对白、唱歌、表演等
最近看到即梦AI的对口型功能又升级了:
可以生成超逼真的「全身动作」和「背景动效」。
一起来看看效果~
即梦AI对口型「大师模式」
进入即梦AI后,选「数字人」-「对口型」:
操作和之前一样:
上传角色 + 选择「生成效果」+ 一段音频,点「生成视频」,就可以等待生成了。
生成效果之前只有「标准」和「生动」,现在多了「大师」模式。
这 3 种模式的「特点」和「适用场景」:
① 标准模式
仅修改口型,比较适合演讲、对白。
② 生动模式
更丰富的面部动作,比较适合唱歌、表演。但是可能会被裁剪。
就是说,在生动模式下,无论上传什么比例的图片,视频都会被裁剪成 1:1 的大头视频。像下面这样。
左图是上传的图片,右图是使用「生动」模式生成的对口型视频,被裁剪了:
③ 大师模式
可以生成超逼真的「全身动作」和「背景动效」,不被裁剪,且支持多人对口型。
去年测过即梦AI的对口型功能,还是不支持多人的,只能让个别人开口。
而即梦AI新出的「大师」模式,已经可以支持多人对口型了。
但是大师模式的缺点是,暂时还不支持生成动物角色的对口型视频。(标准和生动模式是支持动物角色的)
下面是使用即梦AI的「大师」模式生成的对口型效果。
没被裁剪、支持多人、支持全身动作,效果还是不错的:
总结
即梦AI最新升级的「大师」模式,是基于字节跳动研发的 OmniHuman。
不仅面部效果比较好,相比于之前,还支持了「全身动作」和「背景动效」。
OmniHuman 它的创新点在于「全条件」的训练策略。
也就是说,OmniHuman 会基于音频片段、文本提示和姿态参考等多种输入信号同时进行训练,才达到了现在这样逼真的对口型效果。
最后来总结一下吧:
目前即梦AI对口型的「大师」模式,已经在网页端和手机 APP 端上线了,感兴趣的可以试试~
更多 AI 工具,见【AI工具】专栏。