OpenMontage:首个开源的 Agent 化视频制作系统,用自然语言一键出品影片

OpenMontage:首个开源的 Agent 化视频制作系统,用自然语言一键出品影片

把 AI 编程助手变成一个完整的视频制作工作室------只要用大白话描述你的需求,智能体会自动完成研究、脚本、资产生成、剪辑和最终合成。
📦 项目源码备份下载(夸克网盘)

完整项目(73.5 MB)已同步备份到夸克网盘,永久有效、无需提取码

👉 https://pan.quark.cn/s/ed597ec66792

项目简介

OpenMontage (作者 calesthio)宣称自己是首个开源的、代理化(agentic)的视频制作系统 。它不是一个"输入文字出几秒视频"的玩具,而是一整套面向真实制作流程的端到端生产流水线:你的 AI 编程助手本身就是编导和制片人,负责把一句需求拆解成"研究 → 提案 → 脚本 → 场景规划 → 资产生成 → 剪辑 → 合成"七大阶段,并在每个创意决策点等你批准。

关键区别在于:OpenMontage 既能做AI 图像生成的视频 ,也能为免费/开源工作流产出真正的原生视频(video video)------智能体会从免版税素材和开放档案(Archive.org、NASA、Wikimedia Commons、Pexels 等)建立支持 CLIP 检索的语料库,检索真实动态画面、剪辑进时间线并渲染成片。这完全不同于"让静态图片动起来就号称视频"的糊弄。

官方用一条更牛的规格来证明它:用 OpenMontage 完整制作过电影级科幻预告片《Signal from Tomorrow》、60 秒皮克斯风短片《The Last Banana》(成本仅 1.33 美元)、《虚空神经接口》(仅用 1 个 OpenAI API Key,成本 0.69 美元)、以及多部吉卜力/动漫风格短片(成本约 0.15 美元)。

核心特性

  • 12 条生产流水线:覆盖动画解说、口播、屏幕演示、电影预告、动画、播客重制、纪录片蒙太奇、本地化与配音等。
  • 52 种生产工具:视频生成、图像创建、TTS、音乐、音频混合、字幕、画面增强、分析等。
  • 400+ 智能体技能:制作技能、流水线导演、创意技巧、质量检查表以及深厚的技术知识包,教智能体"像专家一样"使用每种工具。
  • 内置实时网络研究:写脚本前,智能体会对 YouTube、Reddit、Hacker News、新闻和学术站点进行 15--25 次检索,确保内容扎根真实信息而非幻觉。
  • 参考驱动创作:粘贴你喜欢的视频/短片,智能体会把它转成脚踏实地的差异化制作计划------保留什么、改变什么、预估成本、实际效果,而不是"盲目乱炖提示词"。
  • 兼顾免费/本地与云端:每一项能力都支持开源本地替代(如 Piper TTS、本地 Wan2.1/Hunyuan/CogVideo 视频生成)或高级 API。
  • 没有供应商锁定:所有提供商按 7 个维度(任务契合度、质量、控制力、可靠性、成本效益、延迟、连续性)自动评分并择优,决策日志可审计。
  • 生产级质量关卡:交付承诺强制机制拦截"PPT 式"渲染;合成前验证避免白烧 GPU;渲染后 ffprobe + 抽帧 + 音频分析自审,绝不产出垃圾。
  • 内置预算管控:执行前预估、花费上限、各行动批准阈值,杜绝意外账单。

快速上手

必备条件:Python 3.10+、FFmpeg、Node.js 18+,以及一款 AI 编程助手(Claude Code、Cursor、Copilot、Windsurf 或 Codex)。

bash 复制代码
git clone https://github.com/calesthio/OpenMontage.git
cd OpenMontage
make setup

然后在你喜欢的 AI 编程助手中打开该项目,用大白话下达指令:

text 复制代码
"制作一个 60 秒的动画解说视频,讲解神经网络是如何学习的"

或走真实素材路径:

text 复制代码
"制作一部 75 秒的纪录片蒙太奇,展现雨中的城市生活。只使用真实素材,无旁白,需要一种挽歌般的基调和配乐。"

没有 make?Windows PowerShell 可以这样装:

powershell 复制代码
py -3 -m venv .venv; .\.venv\Scripts\Activate.ps1
python -m pip install -r requirements.txt
cd remotion-composer; npm install; cd ..
python -m pip install piper-tts
Copy-Item .env.example .env

零 API 密钥就能做出真视频

make setup 开箱即给你一条"免费路径":

能力 免费工具 说明
旁白配音 Piper TTS 免费离线 TTS,真人化发音
开源素材 Archive.org + NASA + Wikimedia Commons 免费/开源档案影像与纪录片素材
额外素材 Pexels + Unsplash + Pixabay 免费库存影像/图片
合成 (React) Remotion 图片场景、文字卡片、图表、词级字幕、TalkingHead
合成 (HTML/GSAP) HyperFrames 动态排版、产品宣传、SVG 角色动画
后期制作 FFmpeg 编码、字幕烧录、音频混音、调色
字幕 内置 带词级时间轴的自动字幕

想配置更多能力,只需往 .env 里加对应的 API Key(每把钥匙等于多一个工具),例如 FAL_KEY(FLUX 图像 + Veo/Kling/MiniMax 视频)、PEXELS_API_KEYSUNO_API_KEY(原创音乐)、ELEVENLABS_API_KEY(顶级 TTS)等。

流水线(Pipeline)

每条流水线都是一条完整的制作工作流,从创意到成片:

  • 动画解说:研究 + 旁白 + 可视化 + 音乐
  • 电影级:预告片、情绪化剪辑、品牌宣传
  • 纪录片蒙太奇:从 CLIP 索引的免费影像库中剪辑主题蒙太奇(无需付费视频生成 API)
  • 口播 / 屏录 / 播客重制 / 化身代言 / 本地化配音 / 片段工厂 / 混合......

每条流水线都遵循:研究 → 提案 → 脚本 → 场景规划 → 资产生成 → 剪辑 → 合成。每个阶段由专门的导演技能(一个 Markdown 指令文件)指导智能体如何精确执行,并做检查点、自审、在创意分叉点请求人类批准。

工作原理

OpenMontage 采用智能体优先(agent-first)架构------没有代码编排器,你的 AI 助手就是编排器:

复制代码
你:"制作一个关于黑洞是如何形成的解说视频"
  → 智能体读取流水线清单 (YAML):阶段 / 工具 / 审查标准 / 成功关卡
  → 读取阶段导演技能 (Markdown):每个阶段怎么做
  → 调用 Python 工具:评分选择器在 7 个维度给每个工具打分
  → 用审阅者技能自审:Schema 校验、剧本依从性、质量检查
  → 保存状态检查点 (JSON):可恢复 + 决策日志 + 成本快照
  → 提交等待你批准
  → 合成前验证关卡:交付承诺 / 幻灯片风险检测 / 渲染器治理
  → 渲染 (Remotion 或 FFmpeg)
  → 渲染后自审:ffprobe / 抽帧 / 音频分析 / 承诺验证
  → 最终输出:通过自审才放行

Python 负责工具与持久化,所有创意决策、编排逻辑、审查标准都存在于可读取、可自定义的指令文件(YAML 清单 + Markdown 技能)里。每一项决定都会被记录,包括备选方案、置信度和每次选择的推理。

三层知识架构

  1. tools/ + pipeline_defs/ ------ "存在什么":可执行功能 + 编排。
  2. skills/ ------ "如何使用它":OpenMontage 的约定与质量门槛。
  3. .agents/skills/ ------ "如何工作":外部技术知识包。

每个工具都会声明依赖哪些第 3 层技能;智能体按需逐层读取。

支持的提供商(部分)

  • 视频生成(15 家):Kling、Seedance 2.0(火山方舟)、Runway Gen-4、Google Veo 3、Grok Imagine、MiniMax、HeyGen、WAN 2.1 / Hunyuan / CogVideo / LTX-Video(本地 GPU 免费)、Pexels / Pixabay / Wikimedia(素材库)。
  • 图像生成(10 种):FLUX、Google Imagen 4、Grok Imagine、GPT Image 2、Recraft、Local Diffusion(本地 SD)、Pexels / Pixabay / Unsplash、ManimCE(数学动画)。
  • TTS(4 家):ElevenLabs、Google TTS(700+ 声音)、OpenAI TTS、Piper(本地免费)。
  • 后期制作(免费):FFmpeg、拼接、裁剪、混音、降噪、LUT 调色、字幕生成。

适合场景

  • 教育/内容创作者:想快速产出科普、教程、短片,但不想啃剪辑。
  • 自媒体/营销团队:批量把长内容重制成短视频、做产品预告。
  • 软件团队:自动生成产品演示、屏幕录制。
  • 开发者/Geek:喜欢 DIY、想用开源+本地模型低成本构建自己的"AI 视频工作室"。

结语

OpenMontage 把"写提示词出视频"这件事升级成了"用一句话驱动一条完整制作流水线"。它最大的价值在于:利用你现有的 AI 编程助手,配合一套可审计、可自定义的指令文件,就能实现近似真实制作团队的协作流程------而且不绑定任何一个供应商,免费本地模型与云 API 按需取用。

如果你是 AI 视频方向的开发者或内容创作者,非常值得 clone 下来跑一跑 make demo,体验一把零密钥出成片的感觉。


资源备份(夸克网盘)

本项目完整源码(73.5 MB 压缩包)已同步备份到夸克网盘,可直接下载:


参考链接

相关推荐
windliang41 分钟前
Agent Loop 的 while 循环什么时候开始不够用
人工智能·面试·开源
智码看视界1 小时前
Day66-开源模型vs闭源模型:技术决策框架
开源·私有化部署·开源模型·模型选型·gpu推理·闭源模型·决策框架
code 小楊2 小时前
Agent间如何高效协作?深度拆解A2A(Agent-to-Agent)协议
人工智能·架构·开源
小柯南敲键盘2 小时前
跨马翻译批量图片视频字幕翻译,跨境电商AI智能抠图一站式工具
人工智能·python·音视频·xcode
searchforAI3 小时前
AI自动总结YouTube视频:英文内容一键总结、智能时间戳、视频重点快速看
人工智能·ai·音视频
code 小楊3 小时前
腾讯开源 WeKnora 深度解析:RAG 问答 + ReAct Agent 推理 + 自动 Wiki 图谱,三位一体的企业级知识中台
前端·人工智能·开源·知识图谱
微擎应用市场3 小时前
开源赋能丨微擎面板(W7Panel)产品介绍说明
开源
martindelophy4 小时前
开源 AI 视频编辑器实战:用 Manifest + Adapter 构建可扩展的生成插件系统
人工智能·开源·音视频
技灵AI4 小时前
Seedance 视频生成提示词怎么写?从镜头方法到 10 套可直接改的完整 Prompt
人工智能·prompt·aigc·音视频