我用AI做了一个48秒的真人精品漫剧,不难也不贵

前言

最近花了点时间用AI做了一个48秒的真人精品漫剧,只能说在AI时代各行各业都被冲击的体无完肤...

制作方法

工具和平台

图片生成用到的模型是liblibseedance2.0

视频生成用到的模型是可灵Omni即梦图片5.0

平台用的是liblib即梦

剪辑工具用到的是剪映

说一下这套工具的选择和搭配原因:

即梦作为当前生图、生视频第一梯队,一开始是我的首选,但是排队太久和真人验证确实令人心烦,后续逐渐演变为生图和补充的主力,不用来生视频了;

最终视频生成模型就选用了Omni,不过可灵官方的费用太贵了,就选择了liblib;

liblibai的选择原因一:要用到Omni模型,liblib的大师版年费会员可以1.87/100积分,图便宜就用了这个。

原因二就是要用到部分lora的生图模型,我用的比较多的是真人高光模型,生图后打光比较亮。

剪映自不必说,必不可少的剪辑工具;

制作过程

由于即梦的seedance2.0(以下简称2.0) 和 可灵的Omni(以下简称Omni) 上线,2026年AI的制作方式漫剧彻底变天了,AI生成视频的逻辑和过去完全不一样了;

曾经的主力方案首尾帧 生成视频,在2.0和Omni的全能参考面前彻底失去了一战之力;

2.0和Omni的能力已经有很多博主介绍过了,很强,绝对的世界第一梯队。 我这里只说一下全能参考,因为全能参考是我们本次AI漫剧的主力模式;

全能参考:支持通过@的形式在提示词中世界使用图片、视频、音频、文案的作为参考,并且生成一致性极强;

注意这里生成一致性非常重要,AI漫剧的人物、场景关键信息的一致性是必须要在整个过程保持一致的,所以模型的参考一致性能力越强越好。

让我们从顶层开始向下拆解一部AI漫剧的制作过程:

我们的AI漫剧成片是由一个又一个的漫剧片段生成的;

而我们的漫剧片段又是用一个又一个的镜头提示词 + 参考内容(资产图)生成;

这里分为两部分镜头提示词参考内容

参考内容:有一部分是用AI生成的角色图、场景图、道具图等;另外一部分是购买\下载的参考视频、参考音频等。

镜头提示词:每个单独的镜头提示词,可以用AI根据剧本初始化生成,但是直接用效果是不好的;

因为AI的分镜提示词会比较粗糙, 镜头的衔接、运镜的方式都不能表达出剧本真正想要表达的内容。

所以分镜提示词尽量由咱们自己做最后的润色。

实际上流程并不复杂,大致就是三步:

剧本 => 生成分镜提示词、生成资产图 => 生成漫剧片段 => 剪辑成片;

这里面最重要的是什么?我经验是:分镜提示词资产图

分镜提示词的重要性

AI生图和生视频是遵循垃圾进,垃圾出原则的,分镜提示词写的不够好,出来的效果就不会满意;

下面这个分镜提示词是我的前15秒提示词:

arduino 复制代码
镜头1:写实电影质感,高饱和度春日色调。开场无铺垫,少女怀抱一束粉嫩海棠从连廊那头小跑而来,裙摆与发丝在风中轻扬。阳光穿过廊檐洒落,在地面投下斑驳光影,少女低头只顾小跑,神情开心,脚步轻快如蝶。 运镜: 低角度跟拍,逐渐环绕到少女侧前方,露出少年的脸部和手里的花,镜头随步伐微晃,捕捉怀中花束摇曳的特写,春日气息扑面而来。写实主义风格,ARRI Alexa 65电影摄影,柯达Portra 400胶片质感,光影层次丰富。运镜: 节奏紧凑,动静结合,张力拉满,情感浓度极高。春日正午柔光,丁达尔效应若隐若现,发丝边缘泛着金色光晕。4K超清,极致的皮肤纹理与衣物细节,高甜氛围,古风唯美。

镜头2:古风男子,恰好从连廊这头步入画面,身姿卓然如玉树临风。少女完全没察觉前方有人,仍低头疾冲,结结实实撞入男子怀中。花束受挤压,几瓣海棠从怀中滑落,在空中划出优美弧线。男子身形稳如泰山,少女则因反作用力微微一滞。 运镜: 侧面中景,平稳推进,撞击瞬间接轻微动态模糊,强调恰好相逢的宿命感。写实主义风格,ARRI Alexa 65电影摄影,柯达Portra 400胶片质感,光影层次丰富。运镜: 节奏紧凑,动静结合,张力拉满,情感浓度极高。春日正午柔光,丁达尔效应若隐若现,发丝边缘泛着金色光晕。4K超清,极致的皮肤纹理与衣物细节,高甜氛围,古风唯美。

镜头3:零距离接触,男子本能地伸手轻扶住少女后腰,指尖传来温度,衣袖交叠处暗香浮动。少女惊魂未定,一只手还攥着花束,另一只手无意识地揪住男子衣襟。两人距离极近,少女发梢扫过男子下颌,气氛微妙。 运镜: 缓慢环绕运镜,由远及近,跟焦两人手部细节,捕捉少女慌张的神态。写实主义风格,ARRI Alexa 65电影摄影,柯达Portra 400胶片质感,光影层次丰富。运镜: 节奏紧凑,动静结合,张力拉满,情感浓度极高。春日正午柔光,丁达尔效应若隐若现,发丝边缘泛着金色光晕。4K超清,极致的皮肤纹理与衣物细节,高甜氛围,古风唯美。

镜头4:两人同时抬眼,视线交会。男子微微低头,深邃眼眸中泛起宠溺笑意,如春日暖阳融化冰雪。少女撞进那温柔目光,心跳骤然漏拍,瞬间忘记了言语。背景虚化,只剩两人之间流转的温情,连风都仿佛静止。 运镜: 仰视特写,柔和轮廓光勾勒两人侧脸,眼神光如星子闪烁,暧昧气氛拉满。写实主义风格,ARRI Alexa 65电影摄影,柯达Portra 400胶片质感,光影层次丰富。运镜: 节奏紧凑,动静结合,张力拉满,情感浓度极高。春日正午柔光,丁达尔效应若隐若现,发丝边缘泛着金色光晕。4K超清,极致的皮肤纹理与衣物细节,高甜氛围,古风唯美。

镜头5:少女猛地反应过来,刷地低下头,脸颊绯红如天边晚霞,视线慌忙落在怀中凌乱的花束上,指尖紧张地绞着花瓣。樱桃小口微张,结结巴巴地吐出三个字:"对,对不起......"声音细若蚊蚋,却甜如蜜糖。男子唇边笑意更深,眼中宠溺几乎溢出。 运镜: 正面中景慢推,聚焦少女泛红的耳尖和垂落的睫毛,捕捉那抹娇羞神态,唯美定格。写实主义风格,ARRI Alexa 65电影摄影,柯达Portra 400胶片质感,光影层次丰富。运镜: 节奏紧凑,动静结合,张力拉满,情感浓度极高。春日正午柔光,丁达尔效应若隐若现,发丝边缘泛着金色光晕。4K超清,极致的皮肤纹理与衣物细节,高甜氛围,古风唯美。

资产图的重要性

还记得这句话么:我们为了要求一致性,我们会期望模型的参考一致性越强越好

成也萧何是败也萧何;

模型的参考一致性强了之后,各位会忽然发现一件事:参考图如果效果不好的话,视频的生成也把这个不好的效果继承下来了!

比如:参考图比例失衡,视频生成也比例失衡;参考图眼神空洞,视频生成也眼神空洞;

踩坑和补救

  1. 分镜提示词一定要注意的一个坑:

分镜提示词的内容一定要和生成视频时选择的时长匹配;

如果给一个十五秒的分镜提示词选择5s的视频生成时长,整体的效果就会杂乱无章;

  1. 人物、场景一致性的问题:

不同的漫剧片段中,人物和场景的一致性可能存在略微的差异;

例如切分镜前后存在色差或者镜头位置偏移,往前推或者往后推了一下。

这时候可以利用截图做首尾帧,重新生成有差异的地方。

或者利用剪辑的手法,放大、调整色差之类的方式补救

  1. 大量废片浪费积分:

AI生成的视频还是有一定抽卡成分在的,虽说提示词足够优秀的情况下,大部分时候都是可以满足我们的需求的;

但是有时候我们会抽出大量的废片,这时候要注意废片并不是全都废掉的;

我们可以利用废片中可用的部分,针对这部分调整分镜提示词来配合重新生成坏掉的部分;

这样我们就不需要大量生成全部视频片段了;

成本

最后,盘点一下这48秒的成片,我总计花费多少钱?

这48秒我做了4个小时,成本开销分别是:

800+的liblib积分(大师版年费会员):生成了6个片段,1张图大约15元 100左右的即梦积分(标准会员年费):生成1个片段,3张图大约4元

也就是20元左右,一分钟的视频可以控制到30元以内;

在开源的github里,你会发现一个问题,我的资产远比这些多,那是因为有一部分资产是我从片段中截图的。

结语

一开始写分镜的时候我都不知道运镜的方式,推、拉、摇、移、跟、甩、升、降,这些都是我当天现学的。

我认为这也正是真正的难点,行外人缺少行内人的知识,我甚至都不知道我不知道什么。

这里就又要提出那个问题了:对每个人来说AI最有用的地方在哪?

答案是:每个人所擅长的地方。

你擅长编程,AI最有用的地方就是编程;

你擅长拍摄,AI最有用的地方就是拍摄;

我是华洛,关注我学习更多AI落地的实战经验与技巧。

加油,共勉。

☺️你好,我是华洛,All in AI多年,专注于AI在产品侧的应用以及企业AI员工的设计。

关注我:华洛AI转型纪实

专栏文章

# 多写点skill吧,写的越多这行业死的越快。

# 聊聊我们公司的AI应用工程师每天都干啥?

# SEO还没死,GEO之战已经开始

# 从0到1打造企业级AI售前机器人------实战指南二:RAG工程落地之数据处理篇🧐

# 从0到1打造企业级AI售前机器人------实战指南一:根据产品需求和定位进行agent流程设计🧐

# 聊一下MCP,希望能让各位清醒一点吧🧐

# 实战派!百万PV的AI产品如何搭建RAG系统?

# 团队落地AI产品的全流程

# 5000字长文,AI时代下程序员的巨大优势!

相关推荐
WZTTMoon2 小时前
Spring Boot 中Servlet、Filter、Listener 四种注册方式全解析
spring boot·后端·servlet
standovon2 小时前
Spring Boot整合Redisson的两种方式
java·spring boot·后端
Amumu121382 小时前
Js:正则表达式(二)
开发语言·javascript·正则表达式
Novlan12 小时前
我把 Claude Code 里的隐藏彩蛋提取出来了——零依赖的 ASCII 虚拟宠物系统
前端
Sgf2273 小时前
ES8(ES2017)新特性完整指南
开发语言·javascript·ecmascript
Cosolar3 小时前
LlamaIndex RAG 本地部署+API服务,快速搭建一个知识库检索助手
后端·openai·ai编程
IAUTOMOBILE3 小时前
Python 流程控制与函数定义:从调试现场到工程实践
java·前端·python
好大哥呀3 小时前
C++ Web 编程
开发语言·前端·c++
MX_93593 小时前
SpringMVC请求参数
java·后端·spring·servlet·apache