做 AI 视频,先让 Blender 把镜头演一遍

⭐ 设为星标 · 第一时间收到推送

石臻说AI 编辑:石臻

导读: AI 视频现在最难的,往往不是生成一张漂亮画面,而是让人物在多个镜头里站对位置、按时做动作,镜头还得按照设计好的路线走。只靠提示词和参考图,这些关系很容易漂。

这次实测走了一条更重、但也更可控的路线:先让 AI 操作 Blender,做出一段粗糙的 3D 预演;再把预演视频、角色图和风格图交给 Seedance 2.0。Blender 不负责成片质感,它更像视频模型开拍前的走位和彩排。

为什么不直接图生视频?

图片当然要用。这套流程一开始就用 GPT Image 2 生成了和室的多角度参考图,后面又把六个镜头的首帧转成动画风。图片擅长定角色、构图和画风,但它只描述一个瞬间。

人物三秒后走到哪里,相机怎么推进,前后两个镜头的空间关系是什么,一张图说不清。Blender 预演补上的是 时间和空间:物体大致摆在哪、角色按什么轨迹动、相机什么时候切镜,都先在 3D 里跑一遍。

方法 它最擅长解决什么 短板
参考图 / 图生视频 角色外观、构图、光影和风格 连续动作、复杂运镜和多镜头关系容易漂
Blender 3D 预演 空间尺度、人物走位、动作时序和相机轨迹 制作更慢,粗模不能直接当成片

AI 生成的夏日和室最终画面,3D 预演被继续转换成动画镜头

所以,Blender 不是每条 AI 视频的必经之路。一个角色、一个机位、一个简单动作,直接图生视频更省事。当你开始追求多镜头、准确走位或一段不存在的编舞时,多做一层预演才有价值。

到底怎么操作:Blender 做彩排,Seedance 负责成片

这里有两段连接,容易被混在一起。第一段是 Claude Code 或 Codex 通过 MCP 操作 Blender;第二段是把 Blender 渲染出来的 MP4 上传给 Seedance,当作参考视频。Seedance 并没有实时控制 Blender,两者之间传递的是一段预演视频。

这次的完整流程可以拆成六步:

步骤 具体操作
1. 定视觉 用 GPT Image 2 生成角色、场景和多角度参考图
2. 连接 Blender 启动 Blender 4.2 以上版本,用 MCP Connector 让 Agent 获得操作能力
3. 搭预演 Agent 编写 bpy 脚本,摆基础几何体、角色、动作和相机
4. 反复验收 执行脚本、截图检查、修改后再执行,直到走位和切镜可用
5. 输出参考 从 Blender 导出预演 MP4,并把各镜头首帧转成目标画风
6. Seedance 生成 上传预演视频和角色、背景图,让 Seedance 参考动作与运镜生成成片

实际用起来,你不需要逐个点 Blender 菜单。启动软件后,可以直接告诉 Claude Code:"把能够操作 Blender 的环境配置好。"连接完成后,再用自然语言描述房间、人物动作和运镜。

AI 通过 Blender 截图检查制作进度,从基础方块逐步搭出场景

Agent 会写 bpy,也就是 Blender 的 Python 脚本。它运行脚本,截一张图检查结果,发现不对就改脚本再跑。强模型负责设计和验收,具体执行可以交给消耗更低的模型,否则额度很快就会见底。

Blender 中逐步完善的和室场景与多个镜头视角

这套流程不算轻。和室从基础几何体开始,经历多轮脚本修改和截图验收,大约两小时才形成可用场景。AI 也更擅长用立方体、圆柱和平面搭出粗模,复杂曲面和细腻造型仍然吃力。目标很明确:先拿到一段可用的预演,没必要把粗模做成可交付的 3D 资产。

和室案例:3D 的价值,在于先把镜头说清楚

这间和室后来加入了 VRM 角色。只需要指定模型文件,再说"让女性角色坐在坐垫上,转动头部,用手扇风",Agent 就会处理导入、摆放和动作。原本的无人机式镜头不够清楚,又被改成每隔几秒切换一次机位。

VRM 角色被放入 Blender 和室场景,作为镜头与动作预演

具体到和室,六个切镜的首帧先用 GPT Image 2 转成动画风,用来定角色和画面风格;完整的 Blender 预演 MP4 则作为 Seedance 2.0 的参考视频,提供人物动作和运镜。一类输入定"长什么样",另一类输入定"怎么动"。

先看 Blender 给出的粗糙预演:人物位置、扇风动作和镜头切换已经被编排好。

Blender 中的和室镜头与人物动作预演动图

把同一套空间和运动信息交给 Seedance 2.0 后,才得到下面的动画风成片:

Seedance 2.0 基于 Blender 和室预演生成的动画风效果

由 3D 预演镜头转换得到的动画风格首帧

文生视频很容易给你一张漂亮画面,难的是人物站在哪里、镜头往哪走、动作在第几秒发生。Blender 在这里像一个 可编程的分镜沙盘:画面可以粗,关系不能乱。

当然,风格转换仍会带来漂移。参考图变成动画风后,部分物体位置和空间关系已经发生变化。预演能提高控制力,却不是逐像素复制。

舞蹈案例:能编不存在的动作,也会编出怪动作

第二组实验更有意思。AI 先在 Blender 里让人偶跳 15 秒,再把运动和相机轨迹交给 Seedance 2.0。角色和背景则由四张参考图确定。

舞蹈视频使用的角色正反面与背景参考图

这是 Blender 里的动作预演。它不追求成片质感,先把动作节奏、人物轨迹和机位跑通:

Blender 中的 15 秒舞蹈动作与镜头预演

再由 Seedance 2.0 结合角色和背景参考图,把这套粗糙动作转成动画风画面:

Seedance 2.0 根据 3D 舞蹈预演生成的动画风效果

它的优势很直接:你不需要先找到一段真人舞蹈,也可以从零设计动作。问题同样明显。用 bpy 计算出来的舞蹈容易简单、机械;加入后空翻后,后续腿部动作就变得不自然。降低视频模型对参考动作的服从程度,可以让成片自然些,但也会牺牲与原始编舞的一致性。

另一条路是先有视频,再提取动作。Blender 可以通过 DW Pose 相关插件估计人物姿态,把一段 Sora 2 舞蹈视频转换成 3D 动作,再套到 VRM 角色上。这个方向对真实人体运动更友好,不过裙摆、手掌等细节仍会崩坏。

这两条路线其实对应不同需求:想要从零发明动作,就接受机械感并反复修;想保留真人运动规律,就从现有视频提取,再承担姿态估计和骨骼映射的误差。

机器人对比:强模型更会设计,但简单模型未必输

最后一组实测让 Fable 5 和 Codex 制作同一台机器人。复杂参考图摆在面前时,Fable 5 的造型更完整,Codex 做出的版本更简化;但两边都没有准确还原原设计,离精细建模仍有距离。

同一机器人参考图下,Fable 5 与 Codex 的 3D 建模结果对比

把简化的模型放进镜头后,画面已经能传递角色位置、环境尺度和爆炸节奏:

简化机器人模型用于场景运动和爆炸节奏预演

有点反直觉的是,如果这些模型只用来给 Seedance 2.0 提供预演,Fable 5 的优势并没有继续拉大。简化模型轮廓清楚、动作明确,有时反而更适合被视频模型读取。预演追求的是信息传递,不是模型资产本身的精度。

成本也不能忽略。即便主要让 Fable 5 负责设计与验收,在 100 美元的 Max 方案下,一个场景仍会消耗每周 Fable 5 额度的 20%~40%。这不是随手玩十个版本都无感的成本。

如果现在让我挑一个用法,我会先拿它做 20 秒镜头预演:把空间、人物位置和运镜跑通,再决定值不值得继续做成片。对不熟悉 3D 的创作者来说,能先做出一个拿来讨论的版本,已经很有用。至于高质量角色模型、复杂曲面和可复用动画资产,专业 3D 能力仍然绕不过去。

这条路线把 AI 视频拆成两层:Blender 先解决空间、动作和镜头,Seedance 再解决角色、画风和成片质感。单镜头直接图生视频更快;多镜头、复杂走位和编舞,先做一次 3D 彩排,能少让视频模型猜几件事。

📚 往期精选

Claude Code 用户可以试试这个插件

Claude Loops:让 AI 睡觉时也在工作

开源AI被喊危险,闭源巨头到底怕什么

Dario的新警告:AI太快,政策太慢

全网热议的Loop到底是个啥?

这Github上9.3k人点赞的插件让Hermes更聪明

一个小技巧,让你的电脑磁盘多处50G

AI记忆的主权之争: 别把AI记忆交给大厂

小白扫盲!AI Agent 入门指南:用最直白的方式,...

为什么 AI 时代大家都在拥抱 Rust?一个旁观者的...

相关推荐
空中湖1 小时前
Spring AI Agent 编排:ReAct 模式 + 多 Agent 协作实战
人工智能·spring·react.js
only-qi1 小时前
RAG 工作机制详解:构建高质量知识库的技术全流程
网络·人工智能·rag
John_ToDebug1 小时前
Git Stash 完全指南:临时保存工作区的艺术
人工智能·git·agent
feibaoqq1 小时前
Atlas边端板卡AI识别:部署方法、技术实现、优劣及应用场景
人工智能·低空经济·低空安防
小保CPP1 小时前
OpenCV C++将多张图像合并为webp动图
c++·人工智能·opencv·计算机视觉
Xzaveir2 小时前
企业号码展示不可观测怎么办:状态机、拨测事件与异常回放
android·人工智能
FII工业富联科技服务2 小时前
从灯塔工厂到AI Factory新模式:AI正在重构制造业的四大核心能力
大数据·运维·人工智能·重构·ar·制造
前端开发江鸟2 小时前
从一个最小 Runtime Demo 看懂:陌生的 599 为什么不能重试
人工智能
AI小白Lin2 小时前
33 个 AI 专家全票通过?那问题才刚开始
人工智能·架构
Spey_Events2 小时前
【核心议题发布】聚焦深度维修与 AI 智慧革新!2026中国民用航空维修智造展——议题重磅发布!
大数据·人工智能