我的第二部AIGC电影《归义军》制作幕后

玩完《燕云十六声》的河西篇章后,对归义军的故事深有感触。

晚唐时期,河西地区落入吐蕃控制,上百万的大唐子民和长安断联。

其中,出身敦煌望族的张议潮利用吐蕃内乱发动起义,收复沙州,并逐步控制河西诸州,使失陷数十年的地区重新归附唐朝。

可惜,游戏把大量的主线篇章用来渲染张议潮晚年时,朝廷为防其拥兵自重,让其到长安成为人质的故事,而对前面收复失地的过程一笔带过。

网易的另一部作品《归唐》同样打算描述这个故事,但已经近一年难产。

于是,我看着即梦里剩余的近1w积分,打算用AI把这个故事重新演绎出来。

视频链接:https://www.bilibili.com/video/BV1t2f1BREes

故事梗概

这部影片大致分成以下几段。

第一段,沙州城内,老人教孙女写汉字,遭吐蕃人欺负。

第二段,张议潮变卖资产,积粮屯兵,等待机会。

第三段,吐蕃内乱,张议潮率众起义,攻占沙州。

第四段,归义军东进,攻克瓜州。

第五段,为了和大唐首都长安取得联系,归义军派出十队信使,前往长安,告知失地收复的消息。

创作过程复盘

剧本设计

该影片是个历史题材的片子,在写剧本时,一个捷径是直接去看一些历史故事转述。

我主要参看了中国敦煌石窟保护研究基金会的一则张议潮故事的介绍[1]。

然后将具体内容用gemini写成剧本大纲。

各种AI试验下来,对于创作类的任务来说,gemini的效果是独一档。

剧本大纲修订好后,我让gemini继续生成故事分段,以15s的内容为一段,例如:

00:00 - 00:15

(画面全黑。屏幕中央浮现出一张古旧的唐代疆域图。随着时间的推移,西边一大块区域被黑色的墨迹慢慢吞噬,那是被吐蕃占领的河西走廊。)

画外音(沉稳的历史学家男声):"公元755年,安史之乱爆发,大唐为了平叛,抽调了西域的边防军回撤中原。吐蕃趁虚而入,攻占了河西走廊。从那以后,这里的一百多万汉人,就和大唐彻底断了联系。这一断,就是整整六十多年。"

00:15 - 00:30

(画面转亮。公元840年前后的沙州城街头。风沙很大,天空是灰黄色的。)

街边的角落里,一个白发苍苍的汉人老头,正在用树枝在沙地上教一个小孙子写字。老人的手干枯发抖,他在地上划出了一个并不工整的"唐"字。

主要原因是Seedance 2.0最长能生成15s的内容,每段生成出来拼接正好。

人物设计

这部片子的主要参考图就是男主角张议潮。

他的形象我主要参考了游戏《燕云十六声》里面的设计,下面是原图。

用 Nano Banana Pro,将其变成人物三视图。

这个是老年的张议潮,影片所描述的是他起义时的故事,据史料加载,大概在49岁左右,因此将其变得更年轻。

虽然人物年轻了,但整体看起来还有点CG感,不够写实,让AI继续修改。

最终就这样得到了人物的定妆照。

片段生成

下面就借助参考图,用 Seedance 2.0 来生成影片所需的片段。

目前,Seedance 2.0用参考图生成一段15s的视频,需要45积分,相比于之前的90积分,价格进行了相应下调。

但是,很多人也发现了,受到版权限制及其它各种原因,Seedance 2.0 目前存在了"降智"的情况。

做这部影片时,能明显感受到,它对提示词的遵循能力变弱了。

上一步片子,做一段内容,最多抽3次就可以了,现在想要一段好一点的,要抽7-8次,有些复杂的动作场景,需要更多次数。

比如,在沙城之战中,我原本的描述是:战士刀砍钝了,直接上去撕咬敌人的喉咙。

结果出来的效果是:战士撕咬刀刃,甚至还有自戕的。。

废片多的能单独出一个特辑了。

总之,现在的Seedance 2.0效果弱了很多,15s的片段,可能就5s能用,需要用大量积分去生成素材,然后通过后期剪辑拯救。

音乐制作

这次全片用到了6段配乐,均是通过Suno制作。

Suno不能控制配乐的长度,但可以通过剪辑来筛选出合适的片段。

每天用免费的额度去生成几段,总能挖掘出有用的。

配音制作

这部历史片主要通过画外音的旁白来驱动。

旁白如果让Seedance 2.0直接去做,会导致前后片段声音不一致。

因此,这次我采用了 Minimax Audio 去制作。

剪映里的AI配音有点声音,而且没有我想要的中年醇厚的音色。

Minimax Audio里面这个抒情男声的声线就很适合做旁白,而且它支持在文本中加入停顿,能够更精确的控制。

新用户有1w积分,这部影片用完,才花了不到2k积分。

总结

这次做历史片,最大的挑战是群演的面容,发现人物一多,上传参考图之后,群演的脸也会和主角一样,导致千人一面

而且,时不时会出现明星脸,比如在什么图都没传的情况下,会出现雷佳音的脸。

总之,随着Seedance 2.0降智后,做影片变得越来越艰难了。

参考

1\] https://www.dhafund.cn/cms/whhy/290.html

相关推荐
AI攻城狮21 小时前
lossless-claw vs mem0:别再把上下文管理和长期记忆混为一谈
人工智能·云原生·aigc
AI攻城狮1 天前
小白如何选择LLM引擎:从架构视角看懂本地大模型的前台、后端与推理核心
人工智能·云原生·aigc
冴羽1 天前
OpenClaw 龙虾零成本快速安装教程,不用花钱,无须 API Key
人工智能·aigc
cobb7891 天前
从零搭建 500ms 以内延迟的语音 Agent,一个人一天就够了
aigc
树獭叔叔1 天前
大模型中的KL散度:从理论到实践的完整指南
后端·aigc·openai
dev派1 天前
🚀 手把手教你从零实现 Claude Code
aigc
爱吃的小肥羊1 天前
刚刚!Google突然宣布:Gemini正式进香港,免魔法使用!
aigc·ai编程
沸点小助手1 天前
「OpenClaw今天想篡位了吗」沸点获奖名单公示|本周互动话题上新🎊
aigc·openai·ai编程
用户5191495848451 天前
WordPress Top Store 主题高危漏洞利用工具 (CVE-2024-10673)
人工智能·aigc
郝学胜-神的一滴1 天前
人工智能发展漫谈:从专家系统到AIGC,再探深度学习核心与Pytorch入门
人工智能·pytorch·python·深度学习·算法·cnn·aigc