Dify + Stable Diffusion实现文生图工作流【两种方式】

一、引言

最近在学习Dify工作流的一些玩法,下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。

Dify AI是一款强大的LLMOps(Language Model Operations)平台,专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型,适用于各种团队,无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念,使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。
Stable Diffusion是2022年发布的深度学习文本到图像生成模型,它主要用于根据文本的描述产生详细图像。

Dify与Stable Diffusion的协同价值

  1. Dify作为低代码AI开发平台的优势:可视化编排、API快速集成
  2. Stable Diffusion的核心能力:高效文生图、多模态生成
  3. 二者结合的意义:降低AI绘画开发门槛,加速创意落地

二、文生图工作流(SD接口)

2.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词;

    系统提示词
java 复制代码
# 角色
你是一个专业的SD提示词提取专家,擅长从描述性画面中精准提取SD提示词。

## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时,仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符

## 限制:
- 只围绕从描述性画面中提取SD提示词展开,拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词,不能偏离框架要求。
  1. 调用SD接口实现文生图;

    body参数
html 复制代码
{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}
  1. 提取返回的base64编码格式的图片字符串;

    通过代码块进行格式化
javascript 复制代码
function main({body}) {
    return {
        result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
    }
}
  1. 用该字符串构建markdown格式的字符串;

  2. 结果输出。

2.2 工作流流程
2.3 演示效果

使用这种调用接口的方式相对来说比较麻烦,调用接口将返回图片的base64编码字符串拼接成markdown格式并显示,下面将使用Dify内置的Stable Diffusion工具来实现文生图功能

三、文生图工作流(SD工具)

3.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词(这一步跟前一种方式一样)
  2. 使用Stable Diffusion工具生成图片,生成图片会以文件的形式返回;
    使用该工具首先需要进行授权,即配置SD服务地址和模型

    使用这个工具可以非常方便的配置图片宽高、负向提示词等参数
  1. 结果输出
3.2 工作流流程
3.3 演示效果


四、文生图聊天机器人

  1. 将文生图工作流配置成工具

  2. 创建聊天机器人Agent

    添加自定义工具

    配置提示词

    演示效果

相关推荐
用户5191495848455 分钟前
网络安全工具与社区讨论月报
人工智能·aigc
utmhikari34 分钟前
【测试人生】LLM赋能游戏自动化测试的一些想法
自动化测试·游戏·ai·大模型·llm·游戏测试
用户5191495848451 小时前
AWS Direct Connect在菲律宾马卡蒂市推出100G扩展服务
人工智能·aigc
用户5191495848452 小时前
轻松发现开放重定向漏洞:从参数到Payload的完整指南
人工智能·aigc
用户5191495848453 小时前
全面解析DoS攻击防护与应对策略
人工智能·aigc
Learn Beyond Limits4 小时前
Using per-item Features|使用每项特征
人工智能·python·神经网络·算法·机器学习·ai·吴恩达
用户5191495848455 小时前
在AI技术唾手可得的时代,挖掘新需求成为核心竞争力——某知名计算机控制AI框架需求洞察
人工智能·aigc
用户5191495848456 小时前
UiPath推出全新AI代理开发功能,简化自动化构建流程
人工智能·aigc
大千UI工场7 小时前
是时候重启了:AIGC将如何重构UI设计师的学习路径与知识体系?
ui·重构·aigc
安娜的信息安全说7 小时前
Ollama 使用详解:本地部署大语言模型的指南
人工智能·ai·语言模型·ollama