Dify + Stable Diffusion实现文生图工作流【两种方式】

一、引言

最近在学习Dify工作流的一些玩法,下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。

Dify AI是一款强大的LLMOps(Language Model Operations)平台,专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型,适用于各种团队,无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念,使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。
Stable Diffusion是2022年发布的深度学习文本到图像生成模型,它主要用于根据文本的描述产生详细图像。

Dify与Stable Diffusion的协同价值

  1. Dify作为低代码AI开发平台的优势:可视化编排、API快速集成
  2. Stable Diffusion的核心能力:高效文生图、多模态生成
  3. 二者结合的意义:降低AI绘画开发门槛,加速创意落地

二、文生图工作流(SD接口)

2.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词;

    系统提示词
java 复制代码
# 角色
你是一个专业的SD提示词提取专家,擅长从描述性画面中精准提取SD提示词。

## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时,仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符

## 限制:
- 只围绕从描述性画面中提取SD提示词展开,拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词,不能偏离框架要求。
  1. 调用SD接口实现文生图;

    body参数
html 复制代码
{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}
  1. 提取返回的base64编码格式的图片字符串;

    通过代码块进行格式化
javascript 复制代码
function main({body}) {
    return {
        result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
    }
}
  1. 用该字符串构建markdown格式的字符串;

  2. 结果输出。

2.2 工作流流程
2.3 演示效果

使用这种调用接口的方式相对来说比较麻烦,调用接口将返回图片的base64编码字符串拼接成markdown格式并显示,下面将使用Dify内置的Stable Diffusion工具来实现文生图功能

三、文生图工作流(SD工具)

3.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词(这一步跟前一种方式一样)
  2. 使用Stable Diffusion工具生成图片,生成图片会以文件的形式返回;
    使用该工具首先需要进行授权,即配置SD服务地址和模型

    使用这个工具可以非常方便的配置图片宽高、负向提示词等参数
  1. 结果输出
3.2 工作流流程
3.3 演示效果


四、文生图聊天机器人

  1. 将文生图工作流配置成工具

  2. 创建聊天机器人Agent

    添加自定义工具

    配置提示词

    演示效果

相关推荐
Donvink7 小时前
【视频生成模型】通义万相Wan2.1模型本地部署和LoRA微调
人工智能·深度学习·aigc·音视频
jerwey9 小时前
Stable Diffusion:Diffusion Model
人工智能·stable diffusion
豌豆花下猫9 小时前
Python 3.14 t-string 要来了,它与 f-string 有何不同?
后端·python·ai
Lilith的AI学习日记11 小时前
AI提示词(Prompt)终极指南:从入门到精通(附实战案例)
大数据·人工智能·prompt·aigc·deepseek
userkang11 小时前
消失的前后端,崛起的智能体
前端·人工智能·后端·ai·硬件工程
小和尚同志12 小时前
热门 AI 编辑器(Cursor、v0、Manus、Windsurf 等)及工具的系统提示词
人工智能·aigc
沈建军_Juhani12 小时前
Function calling, 模态上下文协议(MCP),多步能力协议(MCP) 和 A2A的区别
aigc·openai·mcp
孔令飞12 小时前
使用 Go 与 Redis Streams 构建可靠的事件驱动系统
redis·ai·云原生·golang·kubernetes
JavaDog程序狗13 小时前
【deepseek】无套路免费不花一分钱,5分钟带你体验部署deepseek的快乐
aigc·deepseek