初识Coze(扣子)工作流,ai视频自动化制作

Coze 工作流是字节跳动 Coze 平台的可视化、低代码 AI 流程编排工具,核心是用拖拽节点的方式,把大模型、插件、代码、判断逻辑等能力串成完整任务链,快速做复杂 AI 应用Coze Plus。

一,基础准备:注册并登录扣子官网

进入扣子编程

点击资源库然后创建工作流

二,主要操作:

我们使用工作流的主要流程是,开始节点->功能节点->调用ai大模型->辅助功能节点->结束节点

这里需要注意任何的工作流都需要有开始节点和结束节点,之后你所配置的工作流可以当作本地的插件部署到你的智能体当中

三,案例解析,这里主要使用ai视频制作这个工作流来解读

例如上图当中的ai视频制作

主要分为两大步:图片以及素材生成;自动化剪辑制作

1),素材生成
1. 启动与输入
  • 节点:开始
  • 操作 :接收初始输入 lishirenwu(任务名称 / 主题),作为整个流程的起始数据源。

2. 生成故事剧本
  • 节点:1. 根据名字做剧本
  • 输入 :来自「开始」节点的 input
  • 操作 :调用大模型(豆包・1.5・Pro・32k),基于输入主题生成完整故事剧本,输出:
    • title:剧本标题
    • content:剧本正文内容

3. 拆分画面描述
  • 节点:2. 根据剧本做每个经历的画面描述
  • 输入 :上一步生成的剧本 input(包含 title 和 content)
  • 操作 :调用大模型(豆包・1.5・Pro・32k),将剧本拆分为逐镜头 / 场景的画面描述,输出 output(结构化画面描述列表)。

4. 生成画面底图(主流程)
  • 节点:3. 批处理:根据画面画面做图
  • 输入 :上一步的画面描述 input
  • 操作 :对每个画面描述批量执行 图像生成:
    1. 调用文生图模型生成对应画面的基础图像
    2. 输出 output(包含图像数据与状态信息)

5. 生成视频运镜脚本
  • 并行分支 A :4. 批处理:做运镜 + 即梦 / 豆包 / 海螺做视频所需运镜
    • 输入 :来自「画面描述」的 prompt 和 content
    • 操作 :
      1. 先由大模型生成每个画面对应的运镜脚本(如推镜、拉镜、转场等)
      2. 输出可直接用于视频生成工具(即梦 / 豆包 / 海螺)的运镜指令 output
    • 作用:为后续视频合成提供镜头运动逻辑

6. 图像生成与容错处理
  • 并行分支 B :批处理体(图像生成与重试)
    1. 图像生成 :
      • 输入:画面描述 input
      • 调用文生图模型(Seedream 4.0)生成图像,输出 data(图像数据)和 msg(状态信息)
    2. 结果判断 :
      • 选择器 :判断图像生成结果 data 是否为空(Empty)
      • 如果为空 :进入「修改提示词」节点
        • 输入:失败的 input
        • 调用大模型优化 / 重写画面提示词,输出新的 output
        • 进入「重新做图」节点,再次调用 Seedream 4.0 生成图像
      • 如果不为空:直接进入「变量聚合」节点

7. 数据聚合与输出
  • 节点:变量聚合
  • 输入 :
    • 来自「图像生成 / 重新做图」的 image(最终图像数据)和 data
    • 来自「运镜脚本」的 data(运镜指令)
  • 操作 :将图像资源、运镜指令、剧本信息等聚合为结构化数据集 Group1,作为最终输出,可用于后续视频合成工具。
2),自动化剪辑
1. 时间线预处理
  • 节点:6. 做时间线
  • 输入 :input(原始剧本 / 画面数据)
  • 操作 :调用大模型(豆包・1.5・Pro・32k),生成视频总时长 totalDuration 和分段时间轴 segments,为后续素材对齐提供时间基准。

2. 素材信息结构化处理
  • 节点 :video_infos: 视频素材
    • 输入:timelines(时间轴)、video_urls(视频链接)、height、width
    • 输出:结构化视频素材信息 infos
  • 节点 :caption_infos: 标题 /caption_infos: 字幕
    • 输入:seats(文本内容)、timelines(时间轴)、font_size
    • 输出:结构化标题 / 字幕信息 infos
  • 节点 :str_to_list: 笑声 mp3 / 五百年 mp3
    • 输入:obj(音频字符串)
    • 输出:列表化音频路径 infos
  • 节点 :audio_timelines: 笑声时间线
    • 输入:links(音频链接)、timelines(时间轴)
    • 输出:带时间戳的笑声音频时间轴 infos
  • 节点 :audio_infos: 合成发声 / 合成五百年
    • 输入:mp3_urls(音频链接)、timelines(时间轴)、audio_effect(音频效果)
    • 输出:结构化合成音频信息 infos

3. 视频草稿创建
  • 节点:create_draft
  • 输入 :height、rt_user_id、width
  • 操作 :创建一个空白视频草稿,输出 draft_url(草稿链接)和 rt_user_id。

4. 素材添加到草稿
  • 节点 :add_videos
    • 输入:draft_url、video_infos(视频素材)、alpha
    • 操作:将所有视频素材按时间轴插入草稿,输出更新后的 draft_url、segment_ids、track_id
  • 节点 :add_captions / add_captions_1
    • 输入:captions(字幕 / 标题)、draft_url、alignment
    • 操作:分别添加标题和字幕到对应时间片段,输出 segment_ids、segment_infos
  • 节点 :add_audios / add_audios_1
    • 输入:audio_infos(合成音频 / 笑声 / 背景音乐)、draft_url
    • 操作:将多轨道音频(人声、音效、BGM)插入草稿,输出 audio_ids、更新后的 draft_url、track_id

5. 草稿保存与结束
  • 节点 :save_draft
    • 输入:draft_url、rt_user_id
    • 操作:保存最终合成好的视频草稿,输出 draft_url 和 message(状态信息)
  • 节点 :结束
    • 操作:流程终止,返回变量 output(草稿链接与状态)

四,注意事项

使用coze搭建或者测试工作流都会消耗token,coze平台登陆注册会赠送一些,如有更多的要求可以升级进阶版

相关推荐
智购科技无人售货机工厂店3 分钟前
玻璃瓶饮料破损率突然上升,排查发现是取货口缓冲垫老化了~YH
java·开发语言·人工智能·python·eclipse
骇客野人7 分钟前
业务系统接入AI方案及全流程实施过程
人工智能
一木 之林10 分钟前
Dify学习笔记 00 · 总览:56集四模块学习地图(从低代码平台到检索底座)
人工智能·计算机视觉·langchain
JWASX11 分钟前
【agent 开发】agent 开发学习 - LangChain(2)
python·学习·langchain
镜象科技12 分钟前
中小学AI心理健康解决方案服务商怎么选?2026年选型参考
android·java·人工智能
枫叶丹413 分钟前
语音 AI 怎样边听边答:实时对话系统的工作原理
开发语言·人工智能·chatgpt·开源·php·agent·codex
楚楚25118 分钟前
播客单声道怎么变立体声:先明确需求再选择处理方案
人工智能
田里的水稻22 分钟前
IL_部署推理---工具和语言
人工智能·神经网络·机器学习
俊男无期22 分钟前
【AI 和未来】工作(1)
人工智能
IT大白鼠23 分钟前
彭大帅的AI运维助手实战案例 5 · 新接手的服务器,先让 AI 摸底
运维·服务器·人工智能