文生视频开源产品的一些调研(一)

笔者尝试AI视频生成的几个特点:

  • 玄学prompt,每个视频的prompt可能也需要微调很多次,需要找到使用模型的最佳prompt词组合,不恰当的比喻,骑自行车,座位高度等都是人与车彼此熟悉
  • 玄学生成,因为需要连贯,你可能需要生成无数个视频,99%可能都是一坨屎,各种垮脸的关键帧,需要失败很多次,才有那么个能看的,所以按照这个原理,买在线平台比较不划算,因为每次生成都是计费的

如果要生成比较合理的长视频:

  • 合理的拆解分镜
  • 每个分镜要有适配模型的prompt,包括背景描述
  • 玄学生成视频,力大出奇迹

这里笔者有点推荐使用【星火绘镜】来试着打造分镜,首图也可以保存,

后面生成视频的功能就别用了,瘆人。

几个可以同时支持图+文共同输入的模型:


1 产品调研

AIGC产品列表可见:[AI视频生成]

1.1 快手:可灵

https://kling.kuaishou.com/

没有申请到测试账户,生成短视频一般5s左右,示例视频的动作还蛮丰富

号称可以支持长视频:


1.2 lumalabs.AI

https://lumalabs.ai/dream-machine/creations

120 秒生成 120 帧,视频模型 Dream Machine

Dream Machine 可在 120 秒生成 120 帧,目前单个视频最长为 5 秒;生成的视频具有逼真的流畅运动、电影摄影和戏剧效果;还可以匹配摄像机运动,创造出"惊艳"的画面。

Luma AI 也提到了目前模型存在的问题,比如切换视角时汽车会变形,狗的运动没有用到爪子,显示文字会有问题(将 Luma 显示成 Lumma),北极熊在转身时出现了两个头(Janus 是罗马人的门神,具有前后两个面孔),官方表示他们仍将继续优化模型。

1.3 即梦 - 剪映旗下

https://jimeng.jianying.com/ai-tool/home

有一些比较视觉的功能,比如运镜控制,还有首帧,尾帧的图片的上传可以固定首尾情况

但是整体5S中,可以连贯的剧情可能比较简单,

笔者体验下来可能仅仅实现的是图像动起来

生成的内容也会有变形,所以需要生成很多次才可以。

1.4 科大讯飞-星火绘镜

https://typemovie.art/#/dashboard

笔者猜测底层可能是【Stable Video Diffusion】,使用的某个Lora都是高清现代人物,比较亮眼的长视频的分镜处理

第一步:给入主题大纲生成分幕剧情

第二步:根据每一个分镜描述,生成分镜首图,然后后续会根据这些首页图再次生成

咋说呢,首图看着确实很亮眼,但是后续生成的视频,简直不能看,胆小慎入...

反正不能人样...

1.5 魔搭MotionAgent

https://modelscope.cn/studios/iic/MotionAgent/summary

MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合,进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。

是一个比较完整的项目了,包括剧本,音乐生成,就是缺了一个分镜就更好了

比较适合自己搭服务器玩

1.6 CogVideo

https://segmentfault.com/a/1190000044809082

https://models.aminer.cn/cogvideo/

只有4s,可以免费试用的相对固定

1.7 runwayml

https://runwayml.com/?ref=magicspace.agency

1.8 Stable Video

Stable Video是由著名的Stability AI推出的在线AI视频生成工具,目前拥有最强大的AI绘画模型之一,Stable Diffusion。它提供文本生成视频和图像生成视频两种模式,每天还可获得积分,免费生成多达十几个视频。

网址 https://www.stablevideo.com/

测试下来,本质就是让图动起来,差了点意思,剧情感不强

1.9 Lumen5

Lumen5能够将长篇文章、博客等文本内容转化为视频,并提供丰富的视频模板供选择。用户可以对制作过程进行微调,添加素材等,享有高度自由度。

网址https://lumen5.com/

1.10 腾讯智影 - 数字人创作

腾讯智影是一款集成了AI数字人物、AI文字转语音(TTS)、文章转视频等功能的智能创作工具。用户可以选择多种AI数字人物,并进行细节控制,如动作、服装等。

网址 https://zenvideo.qq.com/

1.11 即创 - 电商商品生成

即创是字节跳动专为抖音生态而推出的AI创作平台,能够通过AI快速生成文案、带货视频、直播以及商品宣传图等内容。同时也提供AI数字人功能。

用户可以通过抖音精选联盟的商品ID,在即创中一键生成爆款内容,非常适合从事抖音带货的用户。

官网 https://aic.oceanengine.com

1.12 一帧秒创

https://aigc.yizhentv.com/product/aiVideo

拆分剧本,但是视频都是哪个影视剧的小片段裁剪的,不是合成的

1.13 domoAI - 视频转动漫

官方 Discord 链接: https://discord.gg/domoai

DomoAI 的服务目前托管 Discord 上的,可以将真人视频转化为动漫、3D、像素、彩色插画、中国水墨画等多种风格。下面是官方展示的真人视频转动漫视频的效果,非常稳定丝滑。

1.14 Runway Gen-3 Alpha

2024/6/18更新

https://app.runwayml.com/video-tools/

整体有120s的免费时间

每次一般生成4s一段的视频

关联报道:Runway发布Gen-3 Alpha:用100万美元拍500部电影的时代来了!|甲子光年

Gen-3 Alpha的五大功能特色

每一个功能都能让你的创意想法变为现实,发现Gen-3 Alpha能提供的优越体验。

  • 文本到视频:将文本描述转换为视频。
  • 图像到视频:将静态图像转换为动态视频。
  • 文本到图像:将文本描述转换为静态图像。
  • 高级相机控制:精细控制视频拍摄角度和运动。
  • 导演模式:对视频的叙事和场景进行详细指导。

本次发布的Gen-3 Alpha模型使用视频和图像联合训练,其特色包括:

  • 90秒内快速生成10秒视频
  • 并行生成多个视频
  • 模型驱动新的文本到视频(T2V)、图像到视频(I2V)和文本到图像(T2I)
  • 动作笔刷、高级摄像机控制、导演模式
  • 即将推出用于精细控制结构、风格、动作的工具


整个制作页面也蛮好:

当然笔者在测试的时候,一直想让人物有一个躺下的动作:

Jane sat on the bed, swiping her phone, then lay back on the bed, holding the phone as she lay down, keeping her eyes on the screen without shifting

但是一直"躺不下",可能这个动作时间不够。。

不过runway是可以直接使用extend功能,

当然,延长4s,依旧不能躺下。。

相关推荐
Mr.谢尔比8 分钟前
李宏毅机器学习课程知识点摘要(1-5集)
人工智能·pytorch·深度学习·神经网络·算法·机器学习·计算机视觉
我是博博啦9 分钟前
matlab例题
人工智能·算法·matlab
DieYoung_Alive15 分钟前
一篇文章了解机器学习
人工智能·机器学习
2023数学建模国赛比赛资料分享16 分钟前
2024亚太杯国际赛C题宠物预测1234问完整解题思路代码+成品参考文章
人工智能·数学建模·宠物·2024亚太杯国际赛数学建模·2024亚太杯国际赛a题·2024亚太杯国际赛数模abc·2024亚太杯数学建模
思通数科AI全行业智能NLP系统25 分钟前
六大核心应用场景,解锁AI检测系统的智能安全之道
图像处理·人工智能·深度学习·安全·目标检测·计算机视觉·知识图谱
程序员小范1 小时前
孙玲:从流水线工人到谷歌程序员
人工智能·程序员·谷歌·远程工作
9527华安1 小时前
FPGA实现PCIE3.0视频采集转10G万兆UDP网络输出,基于XDMA+GTH架构,提供工程源码和技术支持
网络·fpga开发·udp·音视频·xdma·pcie3.0·万兆网
命里有定数2 小时前
Paper -- 洪水深度估计 -- 利用图像处理和深度神经网络绘制街道照片中的洪水深度图
图像处理·人工智能·dnn·洪水深度·高度估计
电子科技圈2 小时前
XMOS携手合作伙伴晓龙国际联合推出集成了ASRC等功能的多通道音频板
科技·嵌入式硬件·mcu·物联网·音视频·iot
Guofu_Liao2 小时前
大语言模型中Softmax函数的计算过程及其参数描述
人工智能·语言模型·自然语言处理