开发基于ComfyUI图片生成类应用Step by step (五)AI辅助开发Image Studio

根据"开发基于ComfyUI图片生成类应用Step by step (四)前后端分离架构:独立ComfyUI服务于应用技术栈选型"中介绍的架构和技术,我们开发了一款通用的图片生成工具Image Studio:

GitHub地址: https://github.com/zhenl/image-studio 。这款工具可以实现一般的文生图和图生图功能。

一、开发环境

Image Studio完全使用AI开发,我们选择的开发环境是Deepseek Harness(dsh)+GLM 5.2(后来升级到5.3)。

我们将开发环境安装在Windows WSL中,这样做的好处是可以隔离不同类型应用的开发环境,并且可以兼容Linux的命令格式。

在WSL中,我们只安装Node.js和Deepseek Harness。Deepseek Harness的安装很简单:

复制代码
npm install -g @deepseek-ai/dsh

安装完成后,执行:

复制代码
dsh web

即可启动deepseek harness,启动后在浏览器访问http://127.0.0.1:3080/ 就可以了。

我们创建一个新的目录(mytools),将本系列中的文章拷贝到docs目录下,然后在deepseek harness中选择mytools作为工作区,创建一个新的会话,输入如下提示词:

复制代码
请按照docs目录下文档说明,为我安装comfyui的工作环境。

dsh就会根据文档说明,安装并配置comfyui的工作环境。

环境准备好之后,在dsh中输入下面命令对环境进行验证:

复制代码
使用文档"开发基于ComfyUI图片生成类应用Step by step(二)极简的出图程序"中的极简出图程序,验证comfyui的开发环境安装是否正确。

如果一切顺利,dsh会使用文档中的程序脚本生成一张测试图片。

二、开发方法

在开发时,为了避免项目规模过大带来的失控风险,我们采用了分步开发的方法,在提示词中明确规定了开发的步骤和每一步需要达到的效果。下面是具体的开发要求:

  • 采用Node.js+TypeScript开发,架构说明参见《开发基于ComfyUI图片生成类应用Step by step (四)前后端分离架构:独立ComfyUI服务于应用技术栈选型》
  • SDD(规约先行):动手前先写规约说明,明确边界与验收标准
  • TDD + 覆盖率门槛:每阶段结束覆盖率不低于 90%,全量假实现------测试不依赖真实 ComfyUI,毫秒级跑完
  • 小步提交:每阶段独立分支 + 过程文档,可随时回退或对照
  • 真实联调收尾:单元测试全绿后,跑一次真实 GPU 出图作为最终验收(测试通过 ≠ 能出图,见调试实录)

三、开发步骤

项目分八个阶段进行开发:

复制代码
1 骨架 → 2 ComfyUI客户端 → 3 工作流构建 → 4 队列与存储
      → 5 生成服务 → 6 REST API → 7 前端 → 8 模型管理

如下表所示:

步骤 分支名 目标
第1步 step-1-scaffold(项目骨架) 让空应用跑起来:Fastify应用工厂、zod配置、健康检查、静态文件骨架
第2步 step-2-comfy-client(ComfyUI客户端) 封装ComfyUI全部通信
第3步 step-3-workflow(工作流构建器) 实现txt2img / classic重绘 / edit参考图编辑三类通道的ComfyUI工作流
第4步 step-4-queue-db(队列与存储) 串行GPU任务队列 + SQLite持久化(jobs、images表,开启WAL)
第5步 step-5-generation(生成服务) 编排生成全生命周期:构建工作流→提交任务→监听进度→落盘图片→写入元数据→广播事件
第6步 step-6-api(REST接口) 对外HTTP契约:同步/异步生成、任务查询、SSE进度流、耗时估算、图库、状态接口
第7步 step-7-frontend(前端界面) 原生单页界面:参数区、画布、图库、任务面板
第8步 step-8-model-mgmt(模型管理) 运行时切换扩散模型/文本编码器/VAE;/object_info作为模型可见性权威源,后续扩展模型预设

在代码库中为每一个步骤独立创建一个分支,作为类似项目的参考。

四、增强功能

通过分步开发,实现了Image Studio的基本功能,在实际使用过程中,还开发了很多增强功能。

4.1 模型预设与选择

根据不同的应用场景,我们需要选择不同的模型,切换模型不只是换文件名:参数约定必须同步。例如:z-image-turbo / Qwen-Image 2.1 Turbo 都是 8 步蒸馏模型,CFG=1;而主力 Qwen-Image 2.1 要引导系数 4(负面提示词才生效)。如果只换模型不改参数会导致出图质量断崖变差。

解决方案是在一套配置中带齐"三件模型 + 参数约定(步数/引导系数)",顶栏下拉一次切换全部生效。

4.2 反向推导提示词(图生文)

在实际项目中,我们需要根据现有的图片推导出提示词。这个功能使用地 Qwen3-VL完成:上传一张图片,提交提示词"这张图能被什么提示词生成出来",这样就可以获得可使用的提示词。

4.3 提示词管理

将常用的提示词和负面提示词保存起来,方便反复使用。

五、使用效果

Image Studio可以作为其他类似应用的开发的探索性工具并生成基础素材。下面是一些应用场景:

5.1 样例图生产:为下游应用造素材

以"试衣间"应用为例,试衣功能需要"标准素材":白底全身人物照、平铺服装图。这些不是网上找的,全部由 image-studio 文生图产出,再通过试衣间的"常用人物 /我的衣橱"入库:

  • 人物照:提示词固化为"全身像、白背景、自然站姿、无遮挡"------ 保证编辑通道参考图质量稳定
  • 服装图:生成后直接成为换装测试的 <image2> 参考图
  • 同一人物配多套服装、同一服装配多个人物的矩阵测试素材, 都是批量生成 + 固定种子复现

5.2 提示词调试:从试验到固化

在"连环画"应用中,需要使用提示词生成各种类型的素材:角色白底立绘、场景无人概念图、测试场景图等等,最初都是在image studio中先调试,调通后才固化成应用中使用的提示词模板。避免了"在业务代码里盲调提示词"的低效循环。有效性验证的工作流如下:

复制代码
image-studio 起草提示词 → 出图肉眼比对 → 调整措辞/权重 → 满意后
  ├─ 存入提示词库(use_count 开始累计)
  └─ 固化到下游应用的代码/模板

5.3 模型评测

不同的应用场景可以使用不同的模型,使用image studio可以进行模型间的对照评测。在这个场景中,image studio 成了模型选型的基准测试台,评测结论直接决定了预设机制的参数约定。

六、经验:生态里第一个应用应该是通用工具

我们最终的开发目的可能是开发一款有针对性的应用,在此之前,应用先开发通用工具,这样做有如下好处:

  1. 调试回路最短:改提示词 → 15 秒出图(turbo 预设)→ 肉眼判断,没有任何业务层阻隔
  2. 能力沉淀被复用:ComfyClient、工作流约定、参数校验先在这里成型,其他下游项目直接复制模块,省去重复踩坑
  3. 接口契约成为生态标准:生成/任务/图库的 API 形状可以在其他应用项目中沿用,前端逻辑近乎移植
  4. 试验与生产分离:参数试验的混乱留在工具里,只有验证过的结论进入业务代码------业务仓库的提示词模板全部"有据可查"

在我们进行其他类似项目(例如,基于TTS模型的广播剧制作平台等)的开发中,也采用了同样的思路。