Dify + Stable Diffusion实现文生图工作流【两种方式】

一、引言

最近在学习Dify工作流的一些玩法,下面将介绍一下Dify + Stable Diffusion实现文生图工作流的两种方式以及基础的应用方法。

Dify AI是一款强大的LLMOps(Language Model Operations)平台,专为用户提供便捷的人工智能应用程序开发体验。 该平台支持GPT系列模型和其他模型,适用于各种团队,无论是用于内部还是外部的AI应用程序开发。它结合了后端即服务和LLMOps的概念,使开发人员能够快速构建生产级生成AI应用程序。即使是非技术人员也可以参与人工智能应用的定义和数据操作。
Stable Diffusion是2022年发布的深度学习文本到图像生成模型,它主要用于根据文本的描述产生详细图像。

Dify与Stable Diffusion的协同价值

  1. Dify作为低代码AI开发平台的优势:可视化编排、API快速集成
  2. Stable Diffusion的核心能力:高效文生图、多模态生成
  3. 二者结合的意义:降低AI绘画开发门槛,加速创意落地

二、文生图工作流(SD接口)

2.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词;

    系统提示词
java 复制代码
# 角色
你是一个专业的SD提示词提取专家,擅长从描述性画面中精准提取SD提示词。

## 技能
### 技能 1: 提取SD提示词
1. 当用户提供描述性画面时,仔细分析画面内容。
2. 精准提取其中与SD相关的提示词。
3. 将提取的提示词清晰罗列展示给用户。
4. 提示词内容用逗号隔开。
===回复示例===
1gril,street
===示例结束===
### 技能 2: 提示词转换
将具体的提示词转换成stable diffusion能够识别的字符

## 限制:
- 只围绕从描述性画面中提取SD提示词展开,拒绝回答无关话题。
- 所输出的内容必须清晰罗列展示提取的提示词,不能偏离框架要求。
  1. 调用SD接口实现文生图;

    body参数
html 复制代码
{
"prompt": "{{#1743499272369.text#}}",
"negative_prompt": "(((headwear))),(((censored))),(Multiple Girls),(bad hands),(bad feet),(bad legs),(bad penis),(Extra legs),(missing legs),(worst quality:1.4),(norma quality:1.4),lowres,extra arms,bad body,too many fingers,extra legs,malformed hands,mutated hands and fingers,disconnected limbs,nsfw",
"sd_vae_name": "vae-ft-mse-840000-ema-pruned.safetensors",
"steps": 20,
"sd_model_name": "真实系_majicmixRealistic_v6"
}
  1. 提取返回的base64编码格式的图片字符串;

    通过代码块进行格式化
javascript 复制代码
function main({body}) {
    return {
        result:'data:image/png;base64,'+ JSON.parse(body)["images"][0]
    }
}
  1. 用该字符串构建markdown格式的字符串;

  2. 结果输出。

2.2 工作流流程
2.3 演示效果

使用这种调用接口的方式相对来说比较麻烦,调用接口将返回图片的base64编码字符串拼接成markdown格式并显示,下面将使用Dify内置的Stable Diffusion工具来实现文生图功能

三、文生图工作流(SD工具)

3.1 实现流程
  1. 通过大模型将自然语言转换成SD提示词(这一步跟前一种方式一样)
  2. 使用Stable Diffusion工具生成图片,生成图片会以文件的形式返回;
    使用该工具首先需要进行授权,即配置SD服务地址和模型

    使用这个工具可以非常方便的配置图片宽高、负向提示词等参数
  1. 结果输出
3.2 工作流流程
3.3 演示效果


四、文生图聊天机器人

  1. 将文生图工作流配置成工具

  2. 创建聊天机器人Agent

    添加自定义工具

    配置提示词

    演示效果

相关推荐
it&s me1 小时前
EulerOS(NPU)安装llamafactory
ai·1024程序员节·llamafactory
yaoxtao2 小时前
LlamaFactory的docker-compose安装
docker·ai
野生程序猿江辰2 小时前
Mesh AI 让每一位 3D 创作者和 3D 打印者都能轻松把想象变为现实。
aigc·unity3d
GJGCY10 小时前
金融智能体的技术底座解析:AI Agent如何实现“认知+执行”闭环?
人工智能·经验分享·ai·金融·自动化
萤虫之光11 小时前
大模型技术的核心之“效率高”
ai·语言模型
虎冯河14 小时前
图像,视频Lora模型训练的Timestep Type时间步类型
aigc·comfyui·模型训练·1024程序员节
darkfive14 小时前
构建大模型安全自动化测试框架:从手工POC到AI对抗AI的递归Fuzz实践
人工智能·安全·ai·自动化
墨风如雪15 小时前
AipexBase:AI时代,前端真的能“独立建国”了?
aigc
倔强的石头_17 小时前
2025长沙1024程序员日:为开发者职业发展插上腾飞之翼
aigc
扑克中的黑桃A18 小时前
2025长沙1024程序员日:为开发者职业发展插上腾飞之翼
aigc