我的第二部AIGC电影《归义军》制作幕后

玩完《燕云十六声》的河西篇章后,对归义军的故事深有感触。

晚唐时期,河西地区落入吐蕃控制,上百万的大唐子民和长安断联。

其中,出身敦煌望族的张议潮利用吐蕃内乱发动起义,收复沙州,并逐步控制河西诸州,使失陷数十年的地区重新归附唐朝。

可惜,游戏把大量的主线篇章用来渲染张议潮晚年时,朝廷为防其拥兵自重,让其到长安成为人质的故事,而对前面收复失地的过程一笔带过。

网易的另一部作品《归唐》同样打算描述这个故事,但已经近一年难产。

于是,我看着即梦里剩余的近1w积分,打算用AI把这个故事重新演绎出来。

视频链接:https://www.bilibili.com/video/BV1t2f1BREes

故事梗概

这部影片大致分成以下几段。

第一段,沙州城内,老人教孙女写汉字,遭吐蕃人欺负。

第二段,张议潮变卖资产,积粮屯兵,等待机会。

第三段,吐蕃内乱,张议潮率众起义,攻占沙州。

第四段,归义军东进,攻克瓜州。

第五段,为了和大唐首都长安取得联系,归义军派出十队信使,前往长安,告知失地收复的消息。

创作过程复盘

剧本设计

该影片是个历史题材的片子,在写剧本时,一个捷径是直接去看一些历史故事转述。

我主要参看了中国敦煌石窟保护研究基金会的一则张议潮故事的介绍1

然后将具体内容用gemini写成剧本大纲。

各种AI试验下来,对于创作类的任务来说,gemini的效果是独一档。

剧本大纲修订好后,我让gemini继续生成故事分段,以15s的内容为一段,例如:

00:00 - 00:15

(画面全黑。屏幕中央浮现出一张古旧的唐代疆域图。随着时间的推移,西边一大块区域被黑色的墨迹慢慢吞噬,那是被吐蕃占领的河西走廊。)

画外音(沉稳的历史学家男声):"公元755年,安史之乱爆发,大唐为了平叛,抽调了西域的边防军回撤中原。吐蕃趁虚而入,攻占了河西走廊。从那以后,这里的一百多万汉人,就和大唐彻底断了联系。这一断,就是整整六十多年。"

00:15 - 00:30

(画面转亮。公元840年前后的沙州城街头。风沙很大,天空是灰黄色的。)

街边的角落里,一个白发苍苍的汉人老头,正在用树枝在沙地上教一个小孙子写字。老人的手干枯发抖,他在地上划出了一个并不工整的"唐"字。

主要原因是Seedance 2.0最长能生成15s的内容,每段生成出来拼接正好。

人物设计

这部片子的主要参考图就是男主角张议潮。

他的形象我主要参考了游戏《燕云十六声》里面的设计,下面是原图。

用 Nano Banana Pro,将其变成人物三视图。

这个是老年的张议潮,影片所描述的是他起义时的故事,据史料加载,大概在49岁左右,因此将其变得更年轻。

虽然人物年轻了,但整体看起来还有点CG感,不够写实,让AI继续修改。

最终就这样得到了人物的定妆照。

片段生成

下面就借助参考图,用 Seedance 2.0 来生成影片所需的片段。

目前,Seedance 2.0用参考图生成一段15s的视频,需要45积分,相比于之前的90积分,价格进行了相应下调。

但是,很多人也发现了,受到版权限制及其它各种原因,Seedance 2.0 目前存在了"降智"的情况。

做这部影片时,能明显感受到,它对提示词的遵循能力变弱了。

上一步片子,做一段内容,最多抽3次就可以了,现在想要一段好一点的,要抽7-8次,有些复杂的动作场景,需要更多次数。

比如,在沙城之战中,我原本的描述是:战士刀砍钝了,直接上去撕咬敌人的喉咙。

结果出来的效果是:战士撕咬刀刃,甚至还有自戕的。。

废片多的能单独出一个特辑了。

总之,现在的Seedance 2.0效果弱了很多,15s的片段,可能就5s能用,需要用大量积分去生成素材,然后通过后期剪辑拯救。

音乐制作

这次全片用到了6段配乐,均是通过Suno制作。

Suno不能控制配乐的长度,但可以通过剪辑来筛选出合适的片段。

每天用免费的额度去生成几段,总能挖掘出有用的。

配音制作

这部历史片主要通过画外音的旁白来驱动。

旁白如果让Seedance 2.0直接去做,会导致前后片段声音不一致。

因此,这次我采用了 Minimax Audio 去制作。

剪映里的AI配音有点声音,而且没有我想要的中年醇厚的音色。

Minimax Audio里面这个抒情男声的声线就很适合做旁白,而且它支持在文本中加入停顿,能够更精确的控制。

新用户有1w积分,这部影片用完,才花了不到2k积分。

总结

这次做历史片,最大的挑战是群演的面容,发现人物一多,上传参考图之后,群演的脸也会和主角一样,导致千人一面

而且,时不时会出现明星脸,比如在什么图都没传的情况下,会出现雷佳音的脸。

总之,随着Seedance 2.0降智后,做影片变得越来越艰难了。

参考

1 https://www.dhafund.cn/cms/whhy/290.html

相关推荐
李剑一2 分钟前
瑞幸也AI上了?我用AI命令行帮我点了一杯咖啡,但是我花了不止一杯咖啡钱
aigc·openai·ai编程
武子康6 分钟前
Copilot Code Review 从固定 Reviewer 演进为可编程 Runtime,仓库控制面、Setup 供应链、Runner 资源和 MCP 工具同时被纳入审查决策
人工智能·github·aigc
K姐研究社2 小时前
Codex 怎么用国产模型?Kimi + CC Switch 接入配置指南
人工智能·aigc
wangruofeng11 小时前
姚顺雨长谈:在 Anthropic 和 Gemini 训练模型,英雄主义已经过时
llm·aigc
-XWB-13 小时前
【LLM】Agent Planning 完全指南:8 种纯 LLM 范式 + 8 种混合规划模式详解(二)
人工智能·经验分享·aigc·学习方法·ai编程
爱听歌的周童鞋15 小时前
霹雳吧啦Wz | AIGC | 图像生成篇 | DDPM介绍与公式推导 | 笔记 | (二) 优化目标引入 ELBO/VLB
aigc·diffusion model·ddpm·reverse process·image generate·forward process
-XWB-19 小时前
【 LLM】Agent Planning 完全指南:8 种纯 LLM 范式 + 8 种混合规划模式详解(一)
人工智能·aigc·学习方法·ai编程
TheBestRucy20 小时前
RAG知识库问答系统落地:从向量检索到上下文增强的全链路实践
人工智能·python·langchain·aigc·交互
智行合一科技20 小时前
WAIC释放关键信号:合规能力正成为AIGC营销的核心竞争壁垒
aigc
爱听歌的周童鞋1 天前
霹雳吧啦Wz | AIGC | 图像生成篇 | DDPM介绍与公式推导 | 笔记 | (一) 前向加噪 & 优化目标引入
aigc·diffusion model·ddpm·reverse process·image generate·forward process