OpenMontage:首个开源的 Agent 化视频制作系统,用自然语言一键出品影片
把 AI 编程助手变成一个完整的视频制作工作室------只要用大白话描述你的需求,智能体会自动完成研究、脚本、资产生成、剪辑和最终合成。
📦 项目源码备份下载(夸克网盘)完整项目(73.5 MB)已同步备份到夸克网盘,永久有效、无需提取码 :
项目简介
OpenMontage (作者 calesthio)宣称自己是首个开源的、代理化(agentic)的视频制作系统 。它不是一个"输入文字出几秒视频"的玩具,而是一整套面向真实制作流程的端到端生产流水线:你的 AI 编程助手本身就是编导和制片人,负责把一句需求拆解成"研究 → 提案 → 脚本 → 场景规划 → 资产生成 → 剪辑 → 合成"七大阶段,并在每个创意决策点等你批准。
关键区别在于:OpenMontage 既能做AI 图像生成的视频 ,也能为免费/开源工作流产出真正的原生视频(video video)------智能体会从免版税素材和开放档案(Archive.org、NASA、Wikimedia Commons、Pexels 等)建立支持 CLIP 检索的语料库,检索真实动态画面、剪辑进时间线并渲染成片。这完全不同于"让静态图片动起来就号称视频"的糊弄。
官方用一条更牛的规格来证明它:用 OpenMontage 完整制作过电影级科幻预告片《Signal from Tomorrow》、60 秒皮克斯风短片《The Last Banana》(成本仅 1.33 美元)、《虚空神经接口》(仅用 1 个 OpenAI API Key,成本 0.69 美元)、以及多部吉卜力/动漫风格短片(成本约 0.15 美元)。
核心特性
- 12 条生产流水线:覆盖动画解说、口播、屏幕演示、电影预告、动画、播客重制、纪录片蒙太奇、本地化与配音等。
- 52 种生产工具:视频生成、图像创建、TTS、音乐、音频混合、字幕、画面增强、分析等。
- 400+ 智能体技能:制作技能、流水线导演、创意技巧、质量检查表以及深厚的技术知识包,教智能体"像专家一样"使用每种工具。
- 内置实时网络研究:写脚本前,智能体会对 YouTube、Reddit、Hacker News、新闻和学术站点进行 15--25 次检索,确保内容扎根真实信息而非幻觉。
- 参考驱动创作:粘贴你喜欢的视频/短片,智能体会把它转成脚踏实地的差异化制作计划------保留什么、改变什么、预估成本、实际效果,而不是"盲目乱炖提示词"。
- 兼顾免费/本地与云端:每一项能力都支持开源本地替代(如 Piper TTS、本地 Wan2.1/Hunyuan/CogVideo 视频生成)或高级 API。
- 没有供应商锁定:所有提供商按 7 个维度(任务契合度、质量、控制力、可靠性、成本效益、延迟、连续性)自动评分并择优,决策日志可审计。
- 生产级质量关卡:交付承诺强制机制拦截"PPT 式"渲染;合成前验证避免白烧 GPU;渲染后 ffprobe + 抽帧 + 音频分析自审,绝不产出垃圾。
- 内置预算管控:执行前预估、花费上限、各行动批准阈值,杜绝意外账单。
快速上手
必备条件:Python 3.10+、FFmpeg、Node.js 18+,以及一款 AI 编程助手(Claude Code、Cursor、Copilot、Windsurf 或 Codex)。
bash
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup
然后在你喜欢的 AI 编程助手中打开该项目,用大白话下达指令:
text
"制作一个 60 秒的动画解说视频,讲解神经网络是如何学习的"
或走真实素材路径:
text
"制作一部 75 秒的纪录片蒙太奇,展现雨中的城市生活。只使用真实素材,无旁白,需要一种挽歌般的基调和配乐。"
没有 make?Windows PowerShell 可以这样装:
powershell
py -3 -m venv .venv; .\.venv\Scripts\Activate.ps1
python -m pip install -r requirements.txt
cd remotion-composer; npm install; cd ..
python -m pip install piper-tts
Copy-Item .env.example .env
零 API 密钥就能做出真视频
make setup 开箱即给你一条"免费路径":
| 能力 | 免费工具 | 说明 |
|---|---|---|
| 旁白配音 | Piper TTS | 免费离线 TTS,真人化发音 |
| 开源素材 | Archive.org + NASA + Wikimedia Commons | 免费/开源档案影像与纪录片素材 |
| 额外素材 | Pexels + Unsplash + Pixabay | 免费库存影像/图片 |
| 合成 (React) | Remotion | 图片场景、文字卡片、图表、词级字幕、TalkingHead |
| 合成 (HTML/GSAP) | HyperFrames | 动态排版、产品宣传、SVG 角色动画 |
| 后期制作 | FFmpeg | 编码、字幕烧录、音频混音、调色 |
| 字幕 | 内置 | 带词级时间轴的自动字幕 |
想配置更多能力,只需往 .env 里加对应的 API Key(每把钥匙等于多一个工具),例如 FAL_KEY(FLUX 图像 + Veo/Kling/MiniMax 视频)、PEXELS_API_KEY、SUNO_API_KEY(原创音乐)、ELEVENLABS_API_KEY(顶级 TTS)等。
流水线(Pipeline)
每条流水线都是一条完整的制作工作流,从创意到成片:
- 动画解说:研究 + 旁白 + 可视化 + 音乐
- 电影级:预告片、情绪化剪辑、品牌宣传
- 纪录片蒙太奇:从 CLIP 索引的免费影像库中剪辑主题蒙太奇(无需付费视频生成 API)
- 口播 / 屏录 / 播客重制 / 化身代言 / 本地化配音 / 片段工厂 / 混合......
每条流水线都遵循:研究 → 提案 → 脚本 → 场景规划 → 资产生成 → 剪辑 → 合成。每个阶段由专门的导演技能(一个 Markdown 指令文件)指导智能体如何精确执行,并做检查点、自审、在创意分叉点请求人类批准。
工作原理
OpenMontage 采用智能体优先(agent-first)架构------没有代码编排器,你的 AI 助手就是编排器:
你:"制作一个关于黑洞是如何形成的解说视频"
→ 智能体读取流水线清单 (YAML):阶段 / 工具 / 审查标准 / 成功关卡
→ 读取阶段导演技能 (Markdown):每个阶段怎么做
→ 调用 Python 工具:评分选择器在 7 个维度给每个工具打分
→ 用审阅者技能自审:Schema 校验、剧本依从性、质量检查
→ 保存状态检查点 (JSON):可恢复 + 决策日志 + 成本快照
→ 提交等待你批准
→ 合成前验证关卡:交付承诺 / 幻灯片风险检测 / 渲染器治理
→ 渲染 (Remotion 或 FFmpeg)
→ 渲染后自审:ffprobe / 抽帧 / 音频分析 / 承诺验证
→ 最终输出:通过自审才放行
Python 负责工具与持久化,所有创意决策、编排逻辑、审查标准都存在于可读取、可自定义的指令文件(YAML 清单 + Markdown 技能)里。每一项决定都会被记录,包括备选方案、置信度和每次选择的推理。
三层知识架构
tools/+pipeline_defs/------ "存在什么":可执行功能 + 编排。skills/------ "如何使用它":OpenMontage 的约定与质量门槛。.agents/skills/------ "如何工作":外部技术知识包。
每个工具都会声明依赖哪些第 3 层技能;智能体按需逐层读取。
支持的提供商(部分)
- 视频生成(15 家):Kling、Seedance 2.0(火山方舟)、Runway Gen-4、Google Veo 3、Grok Imagine、MiniMax、HeyGen、WAN 2.1 / Hunyuan / CogVideo / LTX-Video(本地 GPU 免费)、Pexels / Pixabay / Wikimedia(素材库)。
- 图像生成(10 种):FLUX、Google Imagen 4、Grok Imagine、GPT Image 2、Recraft、Local Diffusion(本地 SD)、Pexels / Pixabay / Unsplash、ManimCE(数学动画)。
- TTS(4 家):ElevenLabs、Google TTS(700+ 声音)、OpenAI TTS、Piper(本地免费)。
- 后期制作(免费):FFmpeg、拼接、裁剪、混音、降噪、LUT 调色、字幕生成。
适合场景
- 教育/内容创作者:想快速产出科普、教程、短片,但不想啃剪辑。
- 自媒体/营销团队:批量把长内容重制成短视频、做产品预告。
- 软件团队:自动生成产品演示、屏幕录制。
- 开发者/Geek:喜欢 DIY、想用开源+本地模型低成本构建自己的"AI 视频工作室"。
结语
OpenMontage 把"写提示词出视频"这件事升级成了"用一句话驱动一条完整制作流水线"。它最大的价值在于:利用你现有的 AI 编程助手,配合一套可审计、可自定义的指令文件,就能实现近似真实制作团队的协作流程------而且不绑定任何一个供应商,免费本地模型与云 API 按需取用。
如果你是 AI 视频方向的开发者或内容创作者,非常值得 clone 下来跑一跑 make demo,体验一把零密钥出成片的感觉。
资源备份(夸克网盘)
本项目完整源码(73.5 MB 压缩包)已同步备份到夸克网盘,可直接下载:
参考链接
- 仓库地址:https://github.com/calesthio/OpenMontage
- 夸克网盘备份:https://pan.quark.cn/s/ed597ec66792
- 许可证:AGPL-3.0(详见仓库 LICENSE)