WorkBuddy中调用本地ComfyUi工作流免费生图

   在上一篇文章 AI小白如何使用并创建自己的skill 中,在WorkBuddy中直接自己创建生成skill,方便按照自己的风格画插画,用了几天之后发现,这个skill虽然执行文字阶段的时候可以使用免费的模型,但是画插画的时候会调用其他绘画模型,绘画模型生成图片的时候会消耗积分,一张图片最少也得5个积分,每天免费领的积分没画几张画就没了。想着能不能画画也不用积分呢?于是就想着是不是可以把本地的ComfyUi接入到WorkBuddy中,经过一番折腾,终于搞好了,现在就可以使用自己的skill无限的生成插画了。

   现在将创建过程分享一下

第一步:ComfyUI本地创建文生图工作流

在自己的电脑上安装ComfyUi,并创建文生图工作流。这个步骤比较麻烦,这里就不演示了。 我是用的是千问2512的文生图工作流,使用其他文生图的工作流也可以。工作流运行没问题后导出工作流的API 这里一定要选择导出为API,直接导出的工作流不行,必须导出为API,因为这个API工作流中包含了外部程序直接调用ComfyUI的接口,外部程序可以通过接口访问这个工作流,直接导出的工作了没有外部接口,外部程序调用不了。

导出工作流之后,就可以在WorkBuddy中安装工作流了。

第二步:WorkBuddy中安装 skill-creator 插件

在WorkBuddy中可以直接输入命令让它创建相应的skill,但是自己描述的有时也不一定全面,创建的skill可能没那么好,为了可以自己也能创建一个专业的skill,这里需要先安装一个创建skill的skill。

浏览器中搜索 魔搭社区

进入到网站中,选择页面上方的skill

在最上方就可以看到这个 creat-skill 点进去就可以看到这个skill的详细介绍

可以看到这个一个专门创建、修改、优化技能的skill,他会按照一定的规范和步骤去创建修改技能。

现在就要将这个skill安装到WorkBuddy中去,在页面的右边复制技能的安装地址

直接点击通过npx安装 后面的复制按钮,复制完成之后直接在WorkBuddy中输入命令

安装 npx skills add www.modelscope.cn/skills/@ant... 技能

等待安装完成,安装完成后自己的WorkBuddy就有了一个专门管理skill的技能了。

第三步:WorkBuddy中自动创建 ComfyUI 文生图 skill

接下来将本地ComfyUI 文生图的工作流创建为一个技能。

基于文件 trae本地部署文生图.json 中定义的ComfyUI文生图工作流,开发一个能够与ComfyUI服务(地址:http://127.0.0.1:8188/)进行交互的技能。该技能应实现以下功能:

  1. 调用指定工作流,实现对三个关键参数的动态配置:
  • 正面提示词:准确填写至工作流中的"正面提示词"节点

  • 图片尺寸:设置"图片尺寸"节点的宽度和高度参数

  • 图片输出路径:配置"保存图像到本地"节点的文本框参数

  1. 实施严格的图片尺寸限制机制,仅允许使用以下分辨率组合:

1:1 : 1328x1328 16:9 : 1664x928 9:16 : 928x1664 4:3 : 1472x1104 3:4 : 1104x1472 3:2 : 1584x1056 2:3 : 1056x1584

需验证用户输入的尺寸是否符合上述规范,对不符合的输入提供明确错误提示。如果用户没有提及尺寸,则自动根据用户需要挑选一个分辨率。

  1. 建立安全可靠的参数传递机制:
  • 确保用户输入的提示词、选定的图片尺寸参数、图片输出路径参数准确映射并传递到ComfyUI工作流的对应节点

  • 实现参数验证逻辑,防止无效参数值导致工作流执行失败

  1. 实施工作流参数保护机制:
  • 严格限制工作流参数调整范围,除明确指定的提示词、图片尺寸、图片输出路径参数外,工作流中的其他所有参数均禁止修改或调整

  • 实现参数锁定功能,确保未授权参数不会被意外或恶意更改

  1. 开发完整的工作流执行流程:
  • 实现工作流触发机制,能够正确启动ComfyUI工作流执行

  • 监控图像生成过程,提供执行状态反馈

  • 处理工作流执行完成后的结果返回

  • 工作流执行完成,保存生成的结果之后,自动卸载工作流中加载的模型,释放显存和内存的占用。

  1. 实现全面的错误处理机制:
  • 网络连接错误处理:当无法连接到ComfyUI服务时提供明确提示

  • 参数验证错误处理:对无效参数输入提供具体错误信息和修正建议

  • 工作流执行错误处理:捕获并处理工作流执行过程中的异常情况

  • 图片生成失败处理:实现失败重试机制或提供详细错误日志

技能开发完成后,需进行全面测试,验证所有功能点的正确性和稳定性,确保参数传递准确无误,工作流执行可靠,错误处理机制有效。注意,skills要用中文。

将刚才导出的 千问-文生图-API.json 工作流拖入到WorkBuddy的对话框中,同时将上面的这段话也复制进去。 等待WorkBuddy自动安装ComfyUI文生图的技能,WorkBuddy就会自动调用刚才安装好的 skill-creator 技能去自动创建ComfyUI文生图 skill。

第四步:WorkBuddy中调用 ComfyUI 文生图 skill 免费生图

ComfyUI文生图的skill创建好了之后,就可以直接在WorkBuddy中直接调用ComfyUI中的 千问文生图工作流了,由于ComfyUI是在本地运行的,生成图片是免费的。这样在WorkBuddy中生成图片也就不需要积分了。

在skill技能安装的过程中GPU的显存突然增加了好多,说明WorkBuddy正在调用ComfyUI的工作流。

在WorkBuddy创建ComfyUI文生图skill的过程中,自己电脑上的ComfyUI要确保是打开的,否则WorkBuddy调用ComfyUI时就会失败,这样skill就创建不成功了。

在ComfyUI 的这个命令窗口中就可以看到WorkBuddy正在调用工作流生成图片

安装skill成功 此时在对话框中输入 "/",就可以在上面的技能列表中看到新建的 ComfyUI 文生图技能了。

选中这个技能,然后输入需要生成图片的提示词,输完提示词之后,如果感觉自己写的不好,可以点击右下角的星星图标,让AI自动优化提示词。 AI就在刚才的提示词之上进行优化

优化完成后发送命令,等待图片生成。 图片生成完成,说明新建的ComfyUI 文生图skill功能已经正常。下来就可以进行下一步了。

第五步:写意水墨简笔画的skill 中调用 ComfyUI 文生图 skill

进入到写意水墨画的工作空间中,修改当前的skill执行流程。将当前skill中的生成图片的步骤,改为直接调用 千问文生图skill

修改完成 下面就可以免费生成插图了 生成成功,没有花费任何积分 从此以后就实现插画自由了!

相关推荐
用户394995084631 小时前
Python 导入机制实战:改了代码为什么不生效
后端
房西杭1 小时前
GM指令:add_exp 增加经验
后端
武子康1 小时前
HunyuanVideo-1.5 首帧视频怎么做提示词对照?先查清 rewrite 是否生效
人工智能·后端·agent
今天早睡1 小时前
用 Command 同时更新 State 与控制路由
后端
智驭未来掌门人1 小时前
Qt开发者不是只能选Qt creator
后端
薛定谔的悦1 小时前
从一次逆流事故说起:储能 EMS 里的 System V 信号量与跨模块快速响应机制
后端
站大爷IP1 小时前
Python的序列化把我坑惨了,原来json和pickle的区别这么大
后端
没事写点啥1 小时前
WeKnora 回答溯源
前端·后端·ai编程
智驭未来掌门人1 小时前
在 CLion 里创建 Qt 项目,真正需要想清楚的是什么
后端