我最近在做AI视频,这两天我博采众长写一下我的发现!我想做AI视频,主要是看到好看的画面,而且做视频真的很放松哎,还不用真的画画,只用思考效果和剧情,想看什么造什么的感觉好好!就是简单写写AI视频艺术创作,让所有人接触享受AI做视频的乐趣。
本文会介绍AI生成视频赛道然后再说做AI视频我的简单步骤(轻松创作向),以及我在这个方法里发现的问题,还有借鉴别的文章学来的做古画AI视频的方法,最好放一些知识素材来源。
初步尝试AI做视频步骤
第一步:打造角色基准图,用于解决人物变形的问题
我定角色,角色也是让AI列一些然后自己选两个作为我和我朋友的样子,我选一红一黄,番茄鸡蛋色哈哈,还融入我和我朋友的脸做最后定的角色。最后用即梦生成人的角色图样。


第二步:搭建分镜脚本
我先大致写了我要做什么,然后让AI详细写个分镜,x秒到x秒要什么样的画面。生成每个画面的基准图。
我问:大唐公主和盛唐郡主是一对好朋友,请以元宵赏灯,逛集市,买衣服买小玩意的事件,按照这个要求,仿照模板写分镜。按照目前漫剧的"黄金三秒"定律,我们直接套用这套"悬疑起步+情绪拉满"的分镜模板。这里我们用5个画面+1个文字定格,正好凑齐1分钟。

然后细化更具体的prompt做图片。

注意视频生成和图片生成要用不同的prompt,图片生成要减少动态感的词语!!不然图片没法生成。
例如以下错误示范:


然后生成基板图片。这里我反复强调这两个人的外形特征,也会把人物照片附上,然后生成场景的基础图片。



第三步:AI生成视频模型让画面动起来
我先是用即梦生成每个分镜的图片,然后放到Seedance生成视频。

第四步:用视频编辑器整合所有视频。
注意找合适的转场。我用的剪映,要氪金的转场才比较自然,由于我不想氪金,我就没弄转场啦!
这个方法出现的问题
照镜子这个动作生图有难度(AI不理解三维空间的物理逻辑)
由于是在成衣铺,照镜子并不是梳妆类型,是全身,这种生活逻辑AI是缺失的。

这里提示词,镜子出现两个人人脸,加上公主(红色衣服)需要在身后,这个物理构图逻辑AI不太清楚,生图很怪异。

照镜子我有时候生成的视频会出现动作越界限出镜子外,或者正反错误的问题。
解决方案:
痛点分析: AI容易把镜子里的像当成第二个人,或者搞不清前后关系,导致出现两张脸或面部扭曲。
解决思路: 明确"拍摄机位"和"镜像关系",强制规定谁是主体,谁是倒影。或者利用剪辑障眼法,前后选择变化幅度不大的动作表示照镜子的过程。
1. 图片生成 Prompt(用于定帧/即梦生图)
核心技巧: 强调"背对镜头"和"镜中倒影"。
错误示范:
一个穿着红衣的公主在镜子前照镜子,旁边站着穿黄衣的郡主。(AI会困惑谁在前,谁在镜子里)
优化方案 A(特写):Prompt:
古风全身镜,红衣公主背对镜头站立,镜中清晰映出她的正面容颜,表情欣喜。黄衣郡主站在公主侧后方,正拿着一支玉簪。画面写实,光影统一,镜子边缘有雕花铜框,高清画质。
优化方案 B(全景/双人):Prompt:
唐代服装店内部,一面巨大的落地铜镜。前景是身穿红衣的公主背对镜头,看着镜子。镜子里清晰地反射出公主的正面形象和身后黄衣郡主的半身像。构图严谨,空间透视正确,8k分辨率
我抄第一个prompt,只增加个人特点部分内容,发现出图AI是不知道黄色衣服郡主真实位置的,只能在镜子看到两个人,所以提示词需要把两个人现实位置和镜子里照映的位置都要写出来。

于是出现第二个版本的提示词和出图。

可以看到AI的图出人还是不稳定的,但是最后一张位置和人都对了,铜镜是方的不合理,只需要拿最后一张图修改为圆铜镜就好了。

2. 视频生成 Prompt(用于Seedance/图生视频)
视频照镜子容易出现动作越出镜子的情况。

**核心技巧:**强调"转身看镜"或"静止欣赏",减少大幅度动作。
优化 Prompt:
镜头固定,红衣公主背对镜头,微微侧头欣赏镜中的自己,镜中倒影同步动作。黄衣郡主在一旁微笑注视。动作舒缓自然,镜子里的影像稳定不闪烁。关键帧控制(如果支持): 锁定镜子区域的画面稳定性。
剪辑法:
镜头给到镜子里的脸,再切到背对镜子的背影,通过正反打(Shot-Reverse Shot)来暗示她们在照镜子,避免直接生成长时间的全身镜画面。
**最后成功版本的提示词:**公主和郡主都站在大铜镜前两个人都在欣赏镜子里的自己,没有任何转身和摆衣服动作,金线刺绣华服细节,动漫电影风格,超高细节,欢乐温馨氛围。
插簪子这个动作也生成得不好(精细物体的物理交互)
视频和生图都不太对,生图簪子朝向不对,视频簪子最后没有插进头发里。

解决方案
痛点分析: AI不懂"插入"这个力学过程,簪子经常悬浮在头发表面,或者角度诡异直接穿透头皮。
**解决思路:**拆分动作 + 描述触感 + 手部特写。不要试图一次生成完整的"插"的过程,先生成"比划",再生成"固定"。或者用剪辑障眼法,插的动作一张图,完成后的一张图,然后生视频拼接。
1. 图片生成 Prompt(定格关键帧)
核心技巧: 描述"指尖捏住"和"簪身贴合"。
错误示范:
女孩把簪子插进头发里。
**优化方案 A(准备动作):**Prompt:
美女的手的指尖捏着一支精致的金簪,簪尖轻轻抵在盘发的发髻边缘。眼神专注,背景虚化,微距摄影,细节清晰,发丝纹理可见。Negative Prompt: 畸形手指,多余的手指,断裂的簪子,悬浮的簪子。
优化方案 B(完成动作):Prompt:
半身肖像,黄衣郡主头上已插好一支玉簪,簪子牢固地嵌入乌黑的发髻之中,无松动痕迹。面部表情满意,光线柔和。
增加人物限制后修改生成。

然后我为了保持一致的摊位和背景,把之前的抠图拿到背景重新生成,并且要求把女主诡异的光晕去掉。

2**. 视频生成 Prompt(Seedance图生视频)**
**核心技巧:**动作幅度要极小,强调"微调"和"固定"。
优化 Prompt:
手部特写,手指捏着发簪,轻轻地将簪子推入盘发中,动作优雅缓慢,发丝随着簪子的进入微微凹陷。簪子最终稳固地停留在头发里,不晃动。参数建议: 降低运动幅度(Motion Scale/Low Noise),增加一致性权重。
利用电影剪辑障眼法(剪辑大法):
不要展示簪子插入的全过程。剪一个手指捏着簪子靠近头发(还没插进去)的镜头,接一个簪子已经在头发里的定格画面,中间加一个"叮"的音效。观众的大脑会自动脑补"插进去"的过程。 这是不错的方法,规避直接的物理动作。
**最后成功版本提示词:**长安夜市小摊前,郡主(鹅黄色襦裙)轻轻地将簪子推入公主(绯红色襦裙)盘发中。簪子最终稳固地停留在公主(绯红色襦裙)盘发的头发里,不晃动。郡主(鹅黄色襦裙)手上没有东西。
视频生成的部分语言逻辑是不对的
比如夸奖,妹妹问姐姐自己的衣服好不好看,姐姐没说话,妹妹就继续说好看,显得你可娇俏了,说话的人不对。这些都要语言控制一下,也可能是我选的模型太菜了,因为我不氪金。。
图生视频场景变换不自然发挥空间有限
这种方法转场不太自然,每张图让AI变换的场景和动作都很受限,这个你只要投身实践就能马上感觉出来。
古画AI视频技巧说明
案例拆解:《清明上河图》AI动画全流程
项目背景:为河南博物院制作的数字展项,全长3分28秒,涉及427个AI生成角色。
关键技术节点:
原始素材处理:
使用超分辨率算法将原图放大至8000×4000像素
通过Segment Anything模型分离152个独立元素
动态化实现:
动态运镜设计
参考《韩熙载夜宴图》的散点透视,在Premiere中创建2.5D镜头运动:
前景层:移动速度1.2x 中景层:正常速度 背景层:移动速度0.8x
音画同步方案:
根据画面区域触发对应环境音效
采用AIGC生成符合宋代语音的方言旁白
成果数据:
制作周期缩短至传统方法的1/5
获2024年"文化遗产数字化"金奖
观众停留时间平均增加4.6分钟(博物馆官方数据)