项目说明
近期我开发了一款文生图应用,近期在了解文生图相关的大模型的时候,了解到了ComfyUI,这是目前市面上比较热门的应用,可以使用个人的电脑安装,然后可以使用里面的模版,有文生图、文生视频、文本转UI、等等AI大模型功能,然后ComfyUI还有API接口,所以我就在调试的过程中想到,那么我能不能用家里面的电脑作为服务端,然后通过云端服务器搭配家用电脑开发一款AI大模型应用,说干就干,经过几天的开发与调试,目前终于做出第一版。
具体的架构思路是这样的:

1:创建文生图信息,向云服务发送请求 2:根据用户的文生图创建对应的配置,加入待生成队列 3:循环读取云服务器队列信息 4:根据云端服务器配置信息请求本地AI服务,向comfyUI发送一个创建文生图请求 5:ComfyUI接受文生图请求,然后将该请求加入任务队列,告知本地服务此次请求的对应任务ID编码 6:向云服务器发送此次创建信息成功,并附带任务ID编码+队列成产中状态 7:云服务器接收信息,然后将队列信息改为生产中,并创建一条新的信息,将任务ID编码等有效信息存储到生产中(生成中数据表) 8:循环读取云服务器中的生产中数据表,获取表中的任务ID编码,向ComfyUI发送请求,查询该任务是否完成 9:当查询到完成时,将本地已经生成的图片信息返回给云服务器 10:云服务器接收完成信息,并将对列表,生成中表的状态改为完成,将图片信息存储到云服务器
项目展示
前期准备
后端管理端配置大模型配置信息
设置ComfyUI服务器配置

设置ComfyUI输出目录

导出自己想用的工作流API

配置用户端可以使用的大模型,例如文生图大模型、文生视频大模型、文字转语音大模型等,这里的配置可以通过ComfyUI的导出API进行获取
这里需要注意用户输入文本的替换内容,我这里是ChangeThisContent 其余的可以根据自己的实际需要进行调整,都是一些简单直白的内容

将导出的配置文件 添加到后台的AI模型配置当中

其他配置
还有一些其他的配置项,大家可以根据需要进行调整,比如API地址,端口地址,数据库信息等。根据自己的需要进行调整就可以了。都是简单直白的操作
当配置好数据库信息以后,启动各个子项目。
具体使用
打开用户端,进行注册与登录

跳转文生图页面进行创作


说明,这里记得要启动local-AI-server-clint-python 的auto_processor.py脚本跟打开ComfyUI

结尾
这就是我近期开发的一款项目,项目主要的特点就是可以节省云服务器的费用,可以使用自己的电脑,或者其他闲置的设备,通过分布式部署+队列监听的方式,完成大模型的应用,也就是说。 如果大家现在有闲置的电脑,或者说想做一个小的AI项目,但是又不想花太多的钱,那么就可以通过这个项目,先搭建一个小的Demo功能,前期通过这种方式进行对外服务,到后面如果需求量大,可以使用大模型服务厂商的token。 主要的应用场景有以下几个方向:
- 一人公司AI服务验证
- 个人或者小团队使用的私域AI服务
- 内网或者是局域网络的AI服务
- 想要节省成本跟注重隐私的
目前该项目已经开源,我这里只是做了一些基础的功能与架构,是可用的,如果缺少某些功能或者是需要个性化调整,大家可以自己拿来改。项目都是有完整的代码与说明,大家可以直接扔给AI进行针对性的开发就可以了。
这个项目是针对当下AI开源大模型的热度进行开发的,大家可以把自己觉得不错的开源AI大模型应用到自己的项目里面。感谢大家的观看,如果觉得不错,麻烦给项目一个star,这对我真的很有用,谢谢大家!