AI大模型学习十八、利用Dify+deepseekR1 +本地部署Stable Diffusion搭建 AI 图片生成应用

一、说明

最近在学习Dify工作流的一些玩法,下面将介绍一下Dify + Stable Diffusion实现文生图工作流的应用方法

Dify与Stable Diffusion的协同价值

  1. Dify作为低代码AI开发平台的优势:可视化编排、API快速集成

  2. Stable Diffusion的核心能力:高效文生图、多模态生成

  3. 二者结合的意义:降低AI绘画开发门槛,加速创意落地

二、安装Stable-Diffusion-WebUI

参考文章

(七)腾讯cloudstudio+Stable-Diffusion-webui AI绘画教程-安装Stable-Diffusion-WebUI_cloudstudio怎么打开webui-CSDN博客https://blog.csdn.net/jiangkp/article/details/144322367?spm=1011.2415.3001.5331

其中 5、修改部分代码

复制代码
webui-user.sh
export COMMANDLINE_ARGS="--api --listen --enable-insecure-extension-access --xformers"

我已经重新安装了一遍,所以没问题

这篇文章是用了透传,我们这里不用透传,地址后面会给出

下载国风3

xiaolxl/GuoFeng3 at mainhttps://hf-mirror.com/xiaolxl/GuoFeng3/tree/main

地址为

https://gzwqtc--7860.ap-beijing.cloudstudio.work/

三、文生图工作流(SD工具)

1、创建SD工具

2、创建应用发布为工具

3、通过大模型将自然语言转换成SD提示词

点击保存

修改之后的图

上面在调试是不好调试,我们可以不按照上图填写,按下图,可以在llm中直接输入调试

系统提示词

角色

你是一个专业的SD提示词提取专家,擅长从描述性画面中精准提取SD提示词。

技能

技能 1: 提取SD提示词

  1. 当用户提供描述性画面时,仔细分析画面内容。

  2. 精准提取其中与SD相关的提示词。

  3. 将提取的提示词清晰罗列展示给用户。

  4. 提示词内容用逗号隔开。

===回复示例===

1gril,street

===示例结束===

技能 2: 提示词转换

将具体的提示词转换成stable diffusion能够识别的字符

限制:

  • 只围绕从描述性画面中提取SD提示词展开,拒绝回答无关话题。

  • 所输出的内容必须清晰罗列展示提取的提示词,不能偏离框架要求。

测试LLM

提示词:

月光下的少女,红色头发,白色连衣裙,以及夜晚,在海边

4、 使用Stable Diffusion工具生成图片

添加第三个节点

参数修改,可以看stable diffusion的说明

单个节点测试一下

添加end节点

添加输出变量

5、测试

剩下的就是等

生成的图片不准啊

我准备用国风3.3或3.4看看 下载好慢喔

xiaolxl/GuoFeng3 at mainhttps://hf-mirror.com/xiaolxl/GuoFeng3/tree/main

选择为国风3.3

测试步骤河上面一样

提示词改一下

一天晚上,在海边,月光下的少女,红色头发,白色连衣裙,

还是没有海边啊

换为国风3.4版本

更换版本后,第一次运行会出错误,主要是后台有一个更换模型的过程,第二次运行就好了

提取的SD提示词:

moonlight, beach, girl, red hair, white dress

再来一次,这个好像可以有海了

四、发布为工具

发布为工具可以在其它应用中使用

配置下,就可以了 ,没啥按要求填

五、创建应用

再创建一个应用,应用工具即可,就不写文档了,前面不足差不多一个开始,一个调用工具,一个结束,

相关推荐
北京耐用通信20 小时前
打破协议壁垒:耐达讯自动化Modbus转Profinet网关实现光伏逆变器全数据采集
运维·人工智能·物联网·网络安全·自动化·信息与通信
信息快讯20 小时前
【机器学习在智能水泥基复合材料中的应用与实践】
人工智能·机器学习·材料工程·复合材料·水泥基复合材料
a-62620 小时前
ai痕迹记录
deepseek·ai痕迹
Juchecar20 小时前
如何理解“AI token 大宗商品化”?
人工智能
文火冰糖的硅基工坊21 小时前
[人工智能-大模型-29]:大模型应用层技术栈 - 第二层:Prompt 编排层(Prompt Orchestration)
人工智能·大模型·prompt·copilot
大模型真好玩21 小时前
LangGraph实战项目:从零手搓DeepResearch(三)——LangGraph多智能体搭建与部署
人工智能·langchain·mcp
飞哥数智坊21 小时前
DeepSeek-OCR:用“看图”代替“读文”,一种更像人类的上下文压缩方式
人工智能·deepseek
L.fountain21 小时前
强化学习2.2 MDP实践——Frozen lake
人工智能·强化学习
JJJJ_iii21 小时前
【机器学习06】神经网络的实现、训练与向量化
人工智能·笔记·深度学习·神经网络·学习·机器学习·线性回归
倔强的石头10621 小时前
AI协作天花板!CherryStudio让多模型协同像搭积木
人工智能·cpolar