我的第二部AIGC电影《归义军》制作幕后

玩完《燕云十六声》的河西篇章后,对归义军的故事深有感触。

晚唐时期,河西地区落入吐蕃控制,上百万的大唐子民和长安断联。

其中,出身敦煌望族的张议潮利用吐蕃内乱发动起义,收复沙州,并逐步控制河西诸州,使失陷数十年的地区重新归附唐朝。

可惜,游戏把大量的主线篇章用来渲染张议潮晚年时,朝廷为防其拥兵自重,让其到长安成为人质的故事,而对前面收复失地的过程一笔带过。

网易的另一部作品《归唐》同样打算描述这个故事,但已经近一年难产。

于是,我看着即梦里剩余的近1w积分,打算用AI把这个故事重新演绎出来。

视频链接:https://www.bilibili.com/video/BV1t2f1BREes

故事梗概

这部影片大致分成以下几段。

第一段,沙州城内,老人教孙女写汉字,遭吐蕃人欺负。

第二段,张议潮变卖资产,积粮屯兵,等待机会。

第三段,吐蕃内乱,张议潮率众起义,攻占沙州。

第四段,归义军东进,攻克瓜州。

第五段,为了和大唐首都长安取得联系,归义军派出十队信使,前往长安,告知失地收复的消息。

创作过程复盘

剧本设计

该影片是个历史题材的片子,在写剧本时,一个捷径是直接去看一些历史故事转述。

我主要参看了中国敦煌石窟保护研究基金会的一则张议潮故事的介绍[1]。

然后将具体内容用gemini写成剧本大纲。

各种AI试验下来,对于创作类的任务来说,gemini的效果是独一档。

剧本大纲修订好后,我让gemini继续生成故事分段,以15s的内容为一段,例如:

00:00 - 00:15

(画面全黑。屏幕中央浮现出一张古旧的唐代疆域图。随着时间的推移,西边一大块区域被黑色的墨迹慢慢吞噬,那是被吐蕃占领的河西走廊。)

画外音(沉稳的历史学家男声):"公元755年,安史之乱爆发,大唐为了平叛,抽调了西域的边防军回撤中原。吐蕃趁虚而入,攻占了河西走廊。从那以后,这里的一百多万汉人,就和大唐彻底断了联系。这一断,就是整整六十多年。"

00:15 - 00:30

(画面转亮。公元840年前后的沙州城街头。风沙很大,天空是灰黄色的。)

街边的角落里,一个白发苍苍的汉人老头,正在用树枝在沙地上教一个小孙子写字。老人的手干枯发抖,他在地上划出了一个并不工整的"唐"字。

主要原因是Seedance 2.0最长能生成15s的内容,每段生成出来拼接正好。

人物设计

这部片子的主要参考图就是男主角张议潮。

他的形象我主要参考了游戏《燕云十六声》里面的设计,下面是原图。

用 Nano Banana Pro,将其变成人物三视图。

这个是老年的张议潮,影片所描述的是他起义时的故事,据史料加载,大概在49岁左右,因此将其变得更年轻。

虽然人物年轻了,但整体看起来还有点CG感,不够写实,让AI继续修改。

最终就这样得到了人物的定妆照。

片段生成

下面就借助参考图,用 Seedance 2.0 来生成影片所需的片段。

目前,Seedance 2.0用参考图生成一段15s的视频,需要45积分,相比于之前的90积分,价格进行了相应下调。

但是,很多人也发现了,受到版权限制及其它各种原因,Seedance 2.0 目前存在了"降智"的情况。

做这部影片时,能明显感受到,它对提示词的遵循能力变弱了。

上一步片子,做一段内容,最多抽3次就可以了,现在想要一段好一点的,要抽7-8次,有些复杂的动作场景,需要更多次数。

比如,在沙城之战中,我原本的描述是:战士刀砍钝了,直接上去撕咬敌人的喉咙。

结果出来的效果是:战士撕咬刀刃,甚至还有自戕的。。

废片多的能单独出一个特辑了。

总之,现在的Seedance 2.0效果弱了很多,15s的片段,可能就5s能用,需要用大量积分去生成素材,然后通过后期剪辑拯救。

音乐制作

这次全片用到了6段配乐,均是通过Suno制作。

Suno不能控制配乐的长度,但可以通过剪辑来筛选出合适的片段。

每天用免费的额度去生成几段,总能挖掘出有用的。

配音制作

这部历史片主要通过画外音的旁白来驱动。

旁白如果让Seedance 2.0直接去做,会导致前后片段声音不一致。

因此,这次我采用了 Minimax Audio 去制作。

剪映里的AI配音有点声音,而且没有我想要的中年醇厚的音色。

Minimax Audio里面这个抒情男声的声线就很适合做旁白,而且它支持在文本中加入停顿,能够更精确的控制。

新用户有1w积分,这部影片用完,才花了不到2k积分。

总结

这次做历史片,最大的挑战是群演的面容,发现人物一多,上传参考图之后,群演的脸也会和主角一样,导致千人一面

而且,时不时会出现明星脸,比如在什么图都没传的情况下,会出现雷佳音的脸。

总之,随着Seedance 2.0降智后,做影片变得越来越艰难了。

参考

1\] https://www.dhafund.cn/cms/whhy/290.html

相关推荐
小和尚同志13 小时前
什么?oh-my-opencode 太重了?那试试 oh-my-opencode-slim
人工智能·aigc
多恩Stone15 小时前
【3D-AICG 系列-11】Trellis 2 的 Shape VAE 训练流程梳理
人工智能·pytorch·算法·3d·aigc
mantch18 小时前
教程:Nano-Banana Pro,谷歌官方指南
人工智能·aigc
别惹CC18 小时前
OpenClaw 是如何设计提示词的?
人工智能·ai·aigc
SmartBrain19 小时前
多智能体设计(第二部分):消息传递机制(含考题)
人工智能·架构·langchain·aigc
智海观潮19 小时前
Vanna-ai - 让自然语言对话SQL数据库成为可能,支持多种数据库,大模型和向量存储
大数据·nlp·aigc
DigitalOcean1 天前
面向 AI 推理的算力升级:AMD MI350X GPU Droplets云服务器上线
aigc·ai编程
多恩Stone1 天前
【3D-AICG 系列-12】Trellis 2 的 Shape VAE 的设计细节 Sparse Residual Autoencoding Layer
人工智能·python·算法·3d·aigc
Kayshen1 天前
春节期间我们开源了一个 AI-Native 的矢量设计工具,对标 Pencil.dev,让 AI Agent 直接画 UI
前端·aigc·agent