AI大模型学习十八、利用Dify+deepseekR1 +本地部署Stable Diffusion搭建 AI 图片生成应用

一、说明

最近在学习Dify工作流的一些玩法，下面将介绍一下Dify + Stable Diffusion实现文生图工作流的应用方法

Dify与Stable Diffusion的协同价值

Dify作为低代码AI开发平台的优势：可视化编排、API快速集成

Stable Diffusion的核心能力：高效文生图、多模态生成

二者结合的意义：降低AI绘画开发门槛，加速创意落地

二、安装Stable-Diffusion-WebUI

参考文章

（七）腾讯cloudstudio+Stable-Diffusion-webui AI绘画教程-安装Stable-Diffusion-WebUI_cloudstudio怎么打开webui-CSDN博客https://blog.csdn.net/jiangkp/article/details/144322367?spm=1011.2415.3001.5331

其中 5、修改部分代码
复制代码
webui-user.sh
export COMMANDLINE_ARGS="--api --listen --enable-insecure-extension-access --xformers"
我已经重新安装了一遍，所以没问题

这篇文章是用了透传，我们这里不用透传，地址后面会给出

下载国风3

xiaolxl/GuoFeng3 at mainhttps://hf-mirror.com/xiaolxl/GuoFeng3/tree/main

地址为

https://gzwqtc--7860.ap-beijing.cloudstudio.work/

三、文生图工作流（SD工具）

1、创建SD工具

2、创建应用发布为工具

3、通过大模型将自然语言转换成SD提示词

点击保存

修改之后的图

上面在调试是不好调试，我们可以不按照上图填写，按下图，可以在llm中直接输入调试

系统提示词

角色

你是一个专业的SD提示词提取专家，擅长从描述性画面中精准提取SD提示词。

技能

技能 1: 提取SD提示词

当用户提供描述性画面时，仔细分析画面内容。

精准提取其中与SD相关的提示词。

将提取的提示词清晰罗列展示给用户。

提示词内容用逗号隔开。

===回复示例===

1gril,street

===示例结束===

技能 2: 提示词转换

将具体的提示词转换成stable diffusion能够识别的字符

限制:

只围绕从描述性画面中提取SD提示词展开，拒绝回答无关话题。

所输出的内容必须清晰罗列展示提取的提示词，不能偏离框架要求。