我用DeepSeek+Qwen-TTS搭了一套视频自动化Skill，基于capcut-meta输出剪映草稿

标签： #AI视频自动化 #DeepSeek #Qwen #QwenTTS #capcut-meta #AgentSkill
摘要： 做知识解说类中视频自动化时，很多人会把分镜、TTS、素材检索、剪映组装简单串起来，但上线后稳定性很差。我踩了多版坑之后，落地了一套 Codex Skill 方案：分镜交给 DeepSeek，配音选用 Qwen-TTS，素材检索对接汇影AI，最后基于 capcut-meta 生成剪映元数据。本文从问题出发，讲清楚为什么这么选型、提示词设计、数据结构、以及上线后遇到的各类兼容性问题。

在做解说视频自动化项目之前，我尝试过不少组合。最开始的想法很简单：大模型直接输出完整脚本，再调用素材API、TTS，最后拼到剪映。但跑起来才发现一堆隐性问题：模型分不清评述句和画面句，检索大量无效素材；TTS 时间戳不准导致字幕错位；不同剪映版本对导出结构兼容报错。

为了解决这些问题，我把整个链路做了解耦，每个环节单独定好输入输出契约。

一、选型思考：优先解决稳定性，而不是追求花哨

分镜模型：DeepSeek。长文本理解能力强，适合几千字的长解说文案，指令跟随稳定，不容易乱输出额外的解释文本，方便后续正则提取 JSON 结构。
TTS：Qwen-TTS。优先选择支持句子级时间戳返回的 TTS，字幕对齐的精度是自动化视频的关键，很多开源 TTS 只返回音频，没有时间戳，后续字幕成本极高。
素材检索：汇影AI。之前长期使用 Pexels、Pixabay 这类海外素材API，痛点非常明显：中文自然语言描述识别差，历史、工业、国风这类垂直题材素材缺失，同时调用配额严格，批量自动化很容易被限流。汇影AI 走语义检索路线，适配中文镜头描述，素材池充足，适合流水线循环调用。
剪映导出：capcut-meta。专门用来构建剪映识别的元数据结构，相比自己手写 JSON，它内置了轨道、片段、时长校验逻辑，减少很多字段写错的低级错误。

整体链路设计思路：Agent 只做调度和判断，媒体下载、元数据组装全部下沉本地客户端，避免大文件 IO、超时、内存溢出问题。

输入完整文案 → DeepSeek 分镜输出结构化镜头数组 → 过滤可视化镜头发起素材检索 → 逐句调用 Qwen-TTS 拿到音频和时间戳 → capcut-meta 组装视频/音频/字幕轨道 → 生成剪映草稿元文件。

二、核心：分镜提示词与输出 Schema

这个提示词的核心设计点，是强制二分类，区分可视化镜头和评论句，这是整条链路能否稳定的根基。

undefined 复制代码

你是知识解说视频分镜解析器，处理历史、科普、财经、工业纪实文案。
规则：
1. 按语义切分句子，不拆分完整语义单元。
2. 镜头分为两类：
visual：存在具象画面，可以检索空镜，输出写实纪录片风格query，不使用抽象评价词；
comment：纯观点总结，无对应画面，不检索素材，复用上一条有效镜头。
3. duration预估镜头时长，单位秒，默认3~5秒。
4. 只返回JSON数组，禁止任何额外文字、注释、markdown。

输出字段：
sentence：原文句子
type：visual / comment
queryText：检索词，comment置空字符串
duration：数字

示例：
{"sentence":"唐代长安城规模宏大，是当时世界上最大的都城。","type":"visual","queryText":"唐代长安城复原航拍，古风历史纪录片空镜","duration":4}
{"sentence":"这个制度对后世王朝产生了深远的影响。","type":"comment","queryText":"","duration":3}

样例输出：

json 复制代码

[
  {
    "sentence": "唐代长安城规模宏大，是当时世界上最大的都城。",
    "type": "visual",
    "queryText": "唐代长安城复原航拍，古风历史纪录片空镜",
    "duration": 4
  },
  {
    "sentence": "这个制度对后世王朝产生了深远的影响。",
    "type": "comment",
    "queryText": "",
    "duration": 3
  }
]

三、各环节调用逻辑

素材检索：仅对 visual 类型执行调用。同一个 query 做本地缓存，减少接口压力；无返回素材时自动复用最近一条素材，保障流水线不中断。

json 复制代码

{
  "queryText": "唐代长安城复原航拍，古风历史纪录片空镜",
  "topK": 10,
  "searchMode": "auto"
}

Qwen-TTS 调用：每一句台词独立生成音频，拿到起止时间，comment 句子正常配音、加字幕，只是画面不切换。

json 复制代码

{
  "text": "唐代长安城规模宏大，是当时世界上最大的都城。",
  "voice": "qwen_default",
  "speed": 1.0
}

四、capcut-meta 组装与踩坑

capcut-meta 负责初始化项目、维护视频轨道、音频轨道、字幕轨道。

流程：素材下载缓存本地 → TTS 音频落地 → 循环镜头数组追加片段 → 统一设置帧率分辨率 → 序列化输出草稿。

高频坑：

直接使用接口临时下载链接写入 meta，链接过期后剪映打不开；
片段时间重叠，capcut-meta 内部校验失败；
素材编码、分辨率不统一，画面拉伸。

五、调度逻辑伪代码

undefined 复制代码

输入：article_text, voice_name
1. 调用DeepSeek，传入文案与分镜prompt，得到shot_list
2. last_material = null
3. for shot in shot_list:
    if shot.type == "visual":
        material_list = 汇影AI.search(shot.queryText)
        if material_list 不为空:
            last_material = material_list[0]
        else:
            记录告警日志
    audio, time_range = QwenTTS.generate(shot.sentence, voice_name)
    capcut_meta.append_clip(shot, last_material, audio, time_range)
4. capcut_meta.render()
return {"task_id": "xxx", "meta_path": "xxx", "shot_list": shot_list}

六、总结

这套方案不是拿来直接一键出成片，而是把文案到剪辑工程之间的机械工作自动化。适合批量做知识解说矩阵，创作者拿到剪映草稿后，只需要微调转场、节奏、字幕样式。

适用场景：历史、天文科普、工业纪实、财经解读类中视频；不适合 CG 定制、剧情演绎类视频。

产品入口：

官网：https://huiyin88.com 客户端下载：https://huiyin88.com/download API 文档：https://huiyin88.com/api