WorkBuddy中调用本地ComfyUi工作流免费生图

   在上一篇文章 AI小白如何使用并创建自己的skill 中,在WorkBuddy中直接自己创建生成skill,方便按照自己的风格画插画,用了几天之后发现,这个skill虽然执行文字阶段的时候可以使用免费的模型,但是画插画的时候会调用其他绘画模型,绘画模型生成图片的时候会消耗积分,一张图片最少也得5个积分,每天免费领的积分没画几张画就没了。想着能不能画画也不用积分呢?于是就想着是不是可以把本地的ComfyUi接入到WorkBuddy中,经过一番折腾,终于搞好了,现在就可以使用自己的skill无限的生成插画了。

   现在将创建过程分享一下

第一步:ComfyUI本地创建文生图工作流

在自己的电脑上安装ComfyUi,并创建文生图工作流。这个步骤比较麻烦,这里就不演示了。

我是用的是千问2512的文生图工作流,使用其他文生图的工作流也可以。工作流运行没问题后导出工作流的API

这里一定要选择导出为API,直接导出的工作流不行,必须导出为API,因为这个API工作流中包含了外部程序直接调用ComfyUI的接口,外部程序可以通过接口访问这个工作流,直接导出的工作了没有外部接口,外部程序调用不了。

导出工作流之后,就可以在WorkBuddy中安装工作流了。

第二步:WorkBuddy中安装 skill-creator 插件

在WorkBuddy中可以直接输入命令让它创建相应的skill,但是自己描述的有时也不一定全面,创建的skill可能没那么好,为了可以自己也能创建一个专业的skill,这里需要先安装一个创建skill的skill。

浏览器中搜索 魔搭社区

进入到网站中,选择页面上方的skill

在最上方就可以看到这个 creat-skill

点进去就可以看到这个skill的详细介绍

可以看到这个一个专门创建、修改、优化技能的skill,他会按照一定的规范和步骤去创建修改技能。

现在就要将这个skill安装到WorkBuddy中去,在页面的右边复制技能的安装地址

直接点击通过npx安装 后面的复制按钮,复制完成之后直接在WorkBuddy中输入命令

安装 npx skills add https://www.modelscope.cn/skills/@anthropics/skill-creator 技能

等待安装完成,安装完成后自己的WorkBuddy就有了一个专门管理skill的技能了。

第三步:WorkBuddy中自动创建 ComfyUI 文生图 skill

接下来将本地ComfyUI 文生图的工作流创建为一个技能。

基于文件 trae本地部署文生图.json

中定义的ComfyUI文生图工作流,开发一个能够与ComfyUI服务(地址:http://127.0.0.1:8188/)进行交互的技能。该技能应实现以下功能:

  1. 调用指定工作流,实现对三个关键参数的动态配置:
  • 正面提示词:准确填写至工作流中的"正面提示词"节点

  • 图片尺寸:设置"图片尺寸"节点的宽度和高度参数

  • 图片输出路径:配置"保存图像到本地"节点的文本框参数

  1. 实施严格的图片尺寸限制机制,仅允许使用以下分辨率组合:

1:1 : 1328x1328 16:9 : 1664x928 9:16 : 928x1664 4:3 : 1472x1104 3:4 :

1104x1472 3:2 : 1584x1056 2:3 : 1056x1584

需验证用户输入的尺寸是否符合上述规范,对不符合的输入提供明确错误提示。如果用户没有提及尺寸,则自动根据用户需要挑选一个分辨率。

  1. 建立安全可靠的参数传递机制:
  • 确保用户输入的提示词、选定的图片尺寸参数、图片输出路径参数准确映射并传递到ComfyUI工作流的对应节点

  • 实现参数验证逻辑,防止无效参数值导致工作流执行失败

  1. 实施工作流参数保护机制:
  • 严格限制工作流参数调整范围,除明确指定的提示词、图片尺寸、图片输出路径参数外,工作流中的其他所有参数均禁止修改或调整

  • 实现参数锁定功能,确保未授权参数不会被意外或恶意更改

  1. 开发完整的工作流执行流程:
  • 实现工作流触发机制,能够正确启动ComfyUI工作流执行

  • 监控图像生成过程,提供执行状态反馈

  • 处理工作流执行完成后的结果返回

  • 工作流执行完成,保存生成的结果之后,自动卸载工作流中加载的模型,释放显存和内存的占用。

  1. 实现全面的错误处理机制:
  • 网络连接错误处理:当无法连接到ComfyUI服务时提供明确提示

  • 参数验证错误处理:对无效参数输入提供具体错误信息和修正建议

  • 工作流执行错误处理:捕获并处理工作流执行过程中的异常情况

  • 图片生成失败处理:实现失败重试机制或提供详细错误日志

技能开发完成后,需进行全面测试,验证所有功能点的正确性和稳定性,确保参数传递准确无误,工作流执行可靠,错误处理机制有效。注意,skills要用中文。

将刚才导出的 千问-文生图-API.json 工作流拖入到WorkBuddy的对话框中,同时将上面的这段话也复制进去。

等待WorkBuddy自动安装ComfyUI文生图的技能,WorkBuddy就会自动调用刚才安装好的 skill-creator 技能去自动创建ComfyUI文生图 skill。

第四步:WorkBuddy中调用 ComfyUI 文生图 skill 免费生图

ComfyUI文生图的skill创建好了之后,就可以直接在WorkBuddy中直接调用ComfyUI中的 千问文生图工作流了,由于ComfyUI是在本地运行的,生成图片是免费的。这样在WorkBuddy中生成图片也就不需要积分了。

在skill技能安装的过程中GPU的显存突然增加了好多,说明WorkBuddy正在调用ComfyUI的工作流。

在WorkBuddy创建ComfyUI文生图skill的过程中,自己电脑上的ComfyUI要确保是打开的,否则WorkBuddy调用ComfyUI时就会失败,这样skill就创建不成功了。

在ComfyUI 的这个命令窗口中就可以看到WorkBuddy正在调用工作流生成图片

安装skill成功

此时在对话框中输入 "/",就可以在上面的技能列表中看到新建的 ComfyUI 文生图技能了。

选中这个技能,然后输入需要生成图片的提示词,输完提示词之后,如果感觉自己写的不好,可以点击右下角的星星图标,让AI自动优化提示词。

AI就在刚才的提示词之上进行优化

优化完成后发送命令,等待图片生成。

图片生成完成,说明新建的ComfyUI 文生图skill功能已经正常。下来就可以进行下一步了。

第五步:写意水墨简笔画的skill 中调用 ComfyUI 文生图 skill

进入到写意水墨画的工作空间中,修改当前的skill执行流程。将当前skill中的生成图片的步骤,改为直接调用 千问文生图skill

修改完成

下面就可以免费生成插图了

生成成功,没有花费任何积分

从此以后就实现插画自由了!

相关推荐
李迟1 小时前
Nginx容器绑定81端口报拒绝访问错误的解决
运维·nginx
贾伟康1 小时前
【共创稿事节】一个 UserDataManager 管八类数据:Preferences 持久化的克制用法
java·服务器·前端·harmonyos·arkts·鸿蒙
杨云龙UP1 小时前
生产实战:Keepalived + Nginx + MySQL 双向复制高可用架构部署与原理详解
运维·数据库·mysql·nginx·架构·keepalived·高可用架构
迪康Defender1 小时前
PHP 高危漏洞应急分析:从风险原理到端点侧纵深防护
运维·开发语言·安全·自动化·php·运维开发·远程工作
卓豪终端管理1 小时前
【无标题】
java·服务器·前端
技术小事2 小时前
Surface 装 Ubuntu 双系统
linux·运维·ubuntu
Elastic 中国社区官方博客2 小时前
Elastic 重大事件功能如何将 100 条日志样本转化为检测规则
大数据·运维·数据库·人工智能·elasticsearch·搜索引擎
柏慧通云报餐2 小时前
政企清廉食堂数字化建设方案:基于一体化报餐平台的全链路管控落地思路
大数据·运维·人工智能·物联网·sass
方便面不加香菜2 小时前
Docker安装详解--基于Ubuntu环境
运维·docker·容器