大家好,我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也是一名 AIGC 爱好者,持续分享前沿的「AI工具」和「AI 副业玩法」,期待和大家一起交流~(资料都在公众号)
最近经常有粉丝问X小鹿,网上那些「让照片说话唱歌」的对口型视频,是怎么做的?用的什么 AI 工具?
先看效果,上传一张照片(左图)+ 一段音频,就可以直接让照片开口说话唱歌,而且口型同步:
视频不方便上传(包括下面的视频),还得先发西瓜视频。懒得传了,感兴趣这里看吧:原视频
还有粉丝之前问:人的效果还算可以,那「让动物图片开口说话唱歌」行不行?想做一个让自家猫主人说话唱歌的对口型视频,用什么 AI 工具?
当然可以!
上传一张猫咪照片(左图) + 一段音频,就生成了一个让猫咪开口说话唱歌的视频,而且也能保证口型同步:
这类「动物说话」的视频,大家是不是也经常在网上刷到,大几万的点赞。如果想搞流量,可以试试发这类视频。
除了上面介绍的影视剧对口型、动物对口型外,像古代人物对口型视频、让名画开口说话唱歌、让兵马俑唱歌等等,这些之前在网上都火过。
上面这些对口型视频,都是用今天介绍的这几款 AI 对口型工具做的。
现在对口型的 AI 工具还挺多的,测了 10 多种,最终挑了 6 款 对口型生成效果较好的、且简单容易上手的 AI 对口型神器,今天全部分享给大家。
- 全部都是免费可用的 AI 工具
- 纯干货,附保姆级教程
- 文末还有各个 AI 对口型工具的对比,方便大家选择合适的 AI 对口型工具
内容较多,看不完可以先收藏起来,总会用得上!
一、即梦AI
即梦AI是字节跳动旗下的一个 AI 创作平台,支持「图片生成」、「智能画布」和「视频生成」、「故事创作」和「音乐生成」功能。
即梦AI 的对口型功能,在「视频生成」里。
即梦AI对口型详细教程,可以看之前写的文章,帖在文末了,方便大家查看。
角色支持
支持真人、卡通漫画人物、动物等。
额度
即梦AI每天都赠送 66 积分(具体以官网为准),生成对口型视频,生动模式 1 秒 1 积分,标准模式 1 秒 0.5 积分。
也就是每天都可以免费生几段对口型视频。
时长
即梦AI最长 36 秒,在同类 AI 对口型工具里算长的。
即梦AI网址:
jimeng.jianying.com/ai-tool/hom...
二、可灵AI
自 6 月初快手可灵(Kling)上线,便引起了巨大轰动。不仅在国内火出圈了,也在海外科技圈引起了不小的热议。
可灵AI的 AI 对口型功能,在「AI 视频」里。
下面这个对口型唱歌的视频,就是用可灵AI生成的。
需要先用可灵AI生成视频,才会出现「对口型」功能的入口:
可灵AI对口型详细教程,可以看之前写的文章,帖在文末了,方便大家查看。
额度
可灵AI每天都赠送 66 积分,生成的对口型视频,1 秒 1 积分,也就是每天都可以免费生几段对口型视频。(以官网为准)
时长
可灵AI,非会员用户最长可生 10 秒的对口型视频。
支持角色
目前只支持人类角色(真实 / 2D / 3D),不支持动物类角色。
生成速度
可灵AI的非会员用户,生成视频的速度非常慢。。。
可灵AI网址
三、通义APP
相比于前面介绍的两款对口型工具,通义的优势是,支持在手机上操作。
经常有粉丝问,没有电脑,有没有支持在手机上可用的?
那通义APP,可以试试。
打开通义APP,点「频道」-「全民舞台」-「全民唱演」。
有上百种了对口型视频,包含爆款热歌、网络热梗等等,可以直接点「做同款」来完成对口型视频。
也支持自定义。点「音频」就可进入「自定义模板」:
支持上传自己的音频了,还可以直接录音、或通过文字配音。(目前只支持 10 秒)
四、万兴播爆
万兴播爆里也支持照片说话的功能。
打开万兴播爆,点在线创作 -「照片说话」:
两步,就能制作让照片说话唱歌的视频。而且电脑、手机都可以。
第一步:上传形象,也可以从万兴播爆的预设中选择。
第二步:输入文本后转语音,或者直接上传音频文件。然后点「创作视频」就可以等待生成了。
支持角色
万兴播爆目前只支持人类角色,不支持动物类角色。
额度
免费用户,赠送 2 分钟视频时长。
时长
万兴播爆,免费用户最长可生 30 秒的对口型视频(单次)。
生成速度
万兴播爆「照片说话」视频的生成速度,还是挺快的。
万兴播爆网址
五、Hedra
上面 4 款 AI 对口型工具,都是国内的,中文界面,没有网络限制,对国内用户友好。
接下来介绍几款效果不错的、国外的 AI 对口型工具。
先来说说 Hedra。
Hedra 操作也很简单:只需「一段音频」+「一张照片」:
Hedra 对口型详细教程,可以看之前写的文章,帖在文末了,方便查看。
下面是用 Hedra 生成的,让画里的人物唱歌:
Hedra 音频获取方式
Hedra 可以直接输入文本转语音(不过中文发音不是很纯正),也可以直接上传已有的音频文件。
所以如果想使用中文语音,最好自己上传音频文件。
时长
免费版最长支持 30 秒。如果有需求,可以升级。专业版最长支持 12 分钟。
Hedra 网址
六、Viggle
Viggle 基于 JST-1 模型,JST-1 模型第一个具有实际物理理解的视频 3D 基础模型。
Viggle 有很多玩法。比如,上传一张人物角色图片 + 一段视频,就可以将视频中的人物,替换成图片中的角色。
这篇主要说说 Viggle 的对口型功能(Mic)。
不同于其他的对口型工具,Viggle 不仅能实现对口型,还能让角色移动起来!
下面是使用 Viggle 制作的一段对口型视频(左上角是上传的照片):
Viggle 的对口型功能(Mic),目前只在 Viggle 的 APP 中可使用,在网页版和 Discord 上,还没有更新对口型的功能。
打开 Viggle APP,点最下面的「+」,选择「Mic」。操作也比较简单,只需 4 步:
Viggle 对口型详细教程,可以看之前写的文章,帖在文末了,方便查看。
Viggle 下载地址
七、总结
下面是对介绍的 6 款 AI 对口型工具的对比。大家可以根据自己的情况,挑选合适的对口型工具。
AI 对口型工具还挺多的,除了上面介绍的 6 款,像 Runway 的 Lip Sync 和 Act-One,还有很多 AI 数字人类的工具,其实都可以实现让图片照片说话唱歌、制作对口型视频。
八、各AI工具详细教程
以下是各AI工具的详细教程,内容较多,有这方面需求的,看不完可以先收藏下~
觉得文章有帮助,请帮忙点赞收藏关注一下呦~
我是程序员X小鹿,前互联网大厂程序员,自由职业2年+,也是一名 AIGC 爱好者,欢迎一起交流~