Dify + Stable Diffusion实现文生图工作流【两种方式】

一、引言

最近在学习Dify工作流的一些玩法,下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。

Dify AI是一款强大的LLMOps(Language Model Operations)平台,专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型,适用于各种团队,无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念,使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。
Stable Diffusion是2022年发布的深度学习文本到图像生成模型,它主要用于根据文本的描述产生详细图像。

Dify与Stable Diffusion的协同价值

  1. Dify作为低代码AI开发平台的优势:可视化编排、API快速集成
  2. Stable Diffusion的核心能力:高效文生图、多模态生成
  3. 二者结合的意义:降低AI绘画开发门槛,加速创意落地

二、文生图工作流(SD接口)

2.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词;

    系统提示词
java 复制代码
# 角色
你是一个专业的SD提示词提取专家,擅长从描述性画面中精准提取SD提示词。

## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时,仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符

## 限制:
- 只围绕从描述性画面中提取SD提示词展开,拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词,不能偏离框架要求。
  1. 调用SD接口实现文生图;

    body参数
html 复制代码
{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}
  1. 提取返回的base64编码格式的图片字符串;

    通过代码块进行格式化
javascript 复制代码
function main({body}) {
    return {
        result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
    }
}
  1. 用该字符串构建markdown格式的字符串;

  2. 结果输出。

2.2 工作流流程
2.3 演示效果

使用这种调用接口的方式相对来说比较麻烦,调用接口将返回图片的base64编码字符串拼接成markdown格式并显示,下面将使用Dify内置的Stable Diffusion工具来实现文生图功能

三、文生图工作流(SD工具)

3.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词(这一步跟前一种方式一样)
  2. 使用Stable Diffusion工具生成图片,生成图片会以文件的形式返回;
    使用该工具首先需要进行授权,即配置SD服务地址和模型

    使用这个工具可以非常方便的配置图片宽高、负向提示词等参数
  1. 结果输出
3.2 工作流流程
3.3 演示效果


四、文生图聊天机器人

  1. 将文生图工作流配置成工具

  2. 创建聊天机器人Agent

    添加自定义工具

    配置提示词

    演示效果

相关推荐
字节跳动视频云技术团队1 小时前
共探 AI 硬件未来图景,火山引擎“智变浪潮”技术沙龙圆满落幕
aigc·openai·线下活动
火山引擎边缘云1 小时前
共探 AI 硬件未来图景,火山引擎“智变浪潮”技术沙龙圆满落幕
aigc·边缘计算
未来之窗软件服务1 小时前
Stable Diffusion win10 Cpu安装日志
stable diffusion
fantasy_42 小时前
LLM-大语言模型浅谈
人工智能·ai·语言模型·deep learning
量子位3 小时前
米哈游蔡浩宇新作 iPhone 实机演示:10 分钟就被 AI 小美撩到脸红,她的命运由我拯救
人工智能·aigc
-嘟囔着拯救世界-6 小时前
1️⃣ 智能体基础入门教学(2025年全新版本)
人工智能·python·aigc·教程·ai agent·智能体·coze
Ombré_mi6 小时前
多模态技术概述(一)
人工智能·语言模型·aigc
xuebodx09237 小时前
私有部署stable-diffusion-webui
图像处理·pytorch·ai作画·stable diffusion·视觉检测·transformer·dall·e 2
墨风如雪10 小时前
风暴眼中的新王:阿里通义千问 Qwen2 登顶开源竞技场,Qwen2.5-Omni 或将掀起新浪潮?
aigc
日升_rs10 小时前
Browser-use:基于 Python 的智能浏览器自动化 AI 工具调研与实战
python·ai·浏览器