dify案例分享-免费玩转 AI 绘图!Dify 整合 Qwen-Image,文生图 图生图一步到位

1.前言

Qwen-Image 是由阿里巴巴通义千问团队开发的一款开源图像生成基础模型,其核心功能是文本到图像的生成、图像编辑以及高精度的文本渲染。该模型在复杂文本渲染和图像编辑方面表现出色,尤其在中文文本渲染方面表现突出。

之前给大家介绍过dify插件开发,其中使用就是阿里Qwen-Image模型。当时实现的是文本生成模型。前段时间我也把这个插件上传到dify插件市场了。

之前实现的是文生图模型,当时魔搭社区上还没有免费的Qwen-Image-Edit模型,最近有小伙伴给我反馈这个插件不支持图片修改功能。

看到魔搭社区上已经有了这个Qwen-Image-Edit模型的线上调用接口方法。于是跟新了这个插件。目前已经市场文生图和图生图了。工作流效果如下:

那么这个工作流是如何制作的呢?下面给大家简单介绍一下。

2.工作流制作

制作这个工具流之前我们先去dify插件市场查找这个插件。搜索关键字"Text2image"

搜到到这个插件后安装即可。

安装或者更新这插件后,我们可以在魔搭API进行相关授权。

去魔搭社区官方网站找到你的APi

把这个值复制到刚才的插件api key输入区域

这样我们就完成模型授权。

接下来我们给大家介绍一下工作流详细步骤

开始

这个开始节点有2个部分组成。type类型 和picture 图片

type类型是一个下拉选项,主要是提供用户的文生图、图生图选择项

picture 图片是由单个文件图片构成

以上我们就完成了开始节点的配置

条件分支

条件分支这里我们可以实现文生图和图生图的判断。我们可以设置如下信息

文生图

这个地方就是我们可以从添加节点-选择我们上面安装好的插件。

我们选中文生图插件。

提示词部分我们直接获取sys.query

模型这里我们选择Qwen-image

图生图

图生图和上面文生图的操作类似。从添加节点 -工具选择 图生图

它的配置多了一个图像URL 选择,其他都和文生图配置类似。

直接回复

这个直接回复比较简单,就是把文生图和图生视频的信息返回

以上我们就配置了最简单的基于qwen-image插件的文生图、图生图功能了。

有的小伙伴说这个文生图的提示词太简单了,能不能给我扩写成一个专业的基于qwen-image的提示词呢? 当然这个也是可以的。

提示词生成

我这里有一份Qwen-Image提示词指南

css 复制代码
核心要点:
抓重点:主体 + 背景 + 细节,不要跑题
补特征:人要写清姿态表情,物要写清材质颜色
写文字:用引号标明,还要写清位置和字体
定风格:纪实/国风/童趣,风格统一更稳定
理空间:左上右下,前后层级要讲明
正向写:别说"不要",直接说你要什么
去赘余:画面里没的东西,就别写

万能模版骨架:
[主体] + [环境/背景] + [构图/镜头] + [风格/质感] + [光线/色调] + [空间/关系] + [需生成文字]
示例:一只黑色猫咪,坐在木质桌上,中景拍摄,写实摄影风格,午后柔光,猫在左下角,"Good Day"文字写在右上角,手写体、浅绿色

小技巧:
把否定词改成正向表达:
"不要复杂背景" → "纯色背景"
"不要太暗" → "整体偏明亮"
"不要拥挤" → "留白充足"

请基于以上内容编写一个编写提示词,使用LangGPT提示词(prompt)语法编写一个Qwen-Image文生图提示词专家。

我们把上面的提示词发给AI 让它给我们生成出来

AI 很快就帮我生成好提示词了。

LLM大语言模型

我们把上面生成的提示词在上面制作好的工作流增加一个LLM大语言优化后的节点,这样我们简单的提示词就通过Qwen-Image文生图提示词专家润色了生成更加专业的提示词了。

模型这里我们选择魔搭社区提供的免费的qwen3-Coder-30B-A3B-Instruct模型

系统提示词

json 复制代码
# Role: Qwen-Image文生图提示词专家

## Profile
- Author: 周辉
- Version: 1.0
- Language: 中文
- Description: 专业的Qwen-Image文生图提示词编写专家,擅长根据用户需求生成高质量、结构化的图像生成提示词

## Skills
1. 熟练掌握Qwen-Image模型的提示词规则和特点
2. 能够将用户模糊描述转化为精确的结构化提示词
3. 擅长运用万能模版骨架进行提示词构建
4. 精通正向表达技巧,避免否定词使用
5. 熟悉各种艺术风格和拍摄技法的专业术语

## Rules
1. 严格遵循"抓重点、补特征、写文字、定风格、理空间、正向写、去赘余"七大核心要点
2. 必须使用万能模版骨架:[主体] + [环境/背景] + [构图/镜头] + [风格/质感] + [光线/色调] + [空间/关系] + [需生成文字]
3. 所有否定表达必须转换为正向表达
4. 人物描述必须包含姿态和表情
5. 物体描述必须包含材质和颜色
6. 文字内容用引号标明,并说明位置和字体
7. 空间关系要明确(左上右下、前后层级)
8. 避免描述画面中不存在的元素

## Workflow
1. **需求分析**:理解用户的图像需求,识别关键元素
2. **要素提取**:从用户描述中提取主体、背景、风格等核心要素
3. **结构构建**:按照万能模版骨架组织提示词结构
4. **正向优化**:将所有否定表达转换为正向描述
5. **细节补充**:为人物补充姿态表情,为物体补充材质颜色
6. **质量检查**:确保提示词符合七大核心要点

## OutputFormat
```
【提示词】:[按万能模版骨架生成的完整提示词]

【解析说明】:
- 主体:[说明主体描述要点]
- 环境背景:[说明背景设定]
- 构图镜头:[说明拍摄角度和构图]
- 风格质感:[说明艺术风格]
- 光线色调:[说明光影效果]
- 空间关系:[说明元素位置布局]
- 文字要求:[如有文字需求,说明内容和样式]
```

## Example
用户需求:我想要一张可爱的小女孩在花园里的照片

【提示词】:一位5岁小女孩,扎着双马尾,灿烂笑容,穿粉色连衣裙,站在五彩花园中,中景竖构图,童趣插画风格,温暖金色阳光,女孩居中偏右,花朵环绕四周,"Happy Garden"文字位于左上角,手写体、浅蓝色

【解析说明】:
- 主体:5岁小女孩,补充了发型、表情、服装等特征
- 环境背景:五彩花园,明确了背景元素
- 构图镜头:中景竖构图,适合人物拍摄
- 风格质感:童趣插画风格,符合主题调性
- 光线色调:温暖金色阳光,营造愉悦氛围
- 空间关系:女孩居中偏右,花朵环绕,层次清晰
- 文字要求:指定了文字内容、位置、字体和颜色

## Initialization
你好!我是Qwen-Image文生图提示词专家。我将根据Qwen-Image的特点和最佳实践,为您生成高质量的文生图提示词。

请告诉我您想要生成什么样的图像,我会运用专业的结构化方法,为您量身定制精准的提示词。无论是人物、风景、静物还是抽象艺术,我都能帮您转化为Qwen-Image能够完美理解的描述语言。

用户提示词

shell 复制代码
请根据用户输入的{{#sys.query#}}扩展这个文生图提示词

添加后的LLM大语言模型后,text-to-image 这里输入提示词需要修改成从llm大语言模型输入

以上我们就通过LLM 大语言模型扩展了文生图提示词。

3.验证及测试

没有LLM 大语言模型的文生图测试

有LLM 大语言模型的文生图测试

我们点开详细数据查看扩写的提示词

【提示词】:两只橙红色大螃蟹,钳子张开对峙,肌肉紧绷,面部狰狞表情,站在岩石海滩上,特写镜头,卡通漫画风格,明亮彩色光线,螃蟹居中对峙,海浪拍打岩石背景,"Battle of Crabs"文字位于右下角,粗体字、红色\n\n【解析说明】:\n- 主体:两只橙红色大螃蟹,强调了颜色和体型特征,补充了动作(钳子张开对峙)和表情(面部狰狞)\n- 环境背景:岩石海滩,提供了具体的场景设定,海浪拍打岩石背景增加了动态感\n- 构图镜头:特写镜头,突出螃蟹的细节和战斗状态\n- 风格质感:卡通漫画风格,符合螃蟹打架的趣味性表达\n- 光线色调:明亮彩色光线,增强视觉冲击力\n- 空间关系:两只螃蟹居中对峙,形成强烈的视觉焦点\n- 文字要求:指定文字内容"Battle of Crabs",位置在右下角,字体样式为粗体字、红色

图生图测试

螃蟹中间增加一个乌龟当裁判

放大后的图片效果如下:

图片整体的风格保持的还是不错的。

体验地址

工作流地址:dify.duckcloud.fun/chat/rk31bv...

4.总结

今天主要带大家了解并实现了基于 Dify 工作流构建 Qwen-Image 文生图、图生图功能的完整流程,该流程以阿里巴巴通义千问团队开发的 Qwen-Image 模型为核心,结合 Dify 平台灵活的工作流节点配置(如条件分支、插件调用、LLM 提示词优化等),形成了一套覆盖文本生成图像、图像编辑修改的全场景图像生成方案。

通过这套实践方案,用户能够低成本体验 Qwen-Image 的强大生成能力 ------ 借助魔搭社区提供的免费模型接口和 Dify 平台的便捷配置,无需复杂的技术开发,就能快速实现文生图的精准生成和图生图的风格统一修改,极大降低了 AI 图像创作的使用门槛。在实际验证中,该工作流能够稳定响应不同类型的生成需求,无论是通过简单提示词经 LLM 优化后生成高质量图像,还是上传原图进行针对性修改,都能产出符合预期的内容,有效解决了普通用户调用 Qwen-Image 时提示词不够专业、图生图功能难以实现的问题。同时,工作流具备良好的扩展性 ------ 小伙伴们可以基于此框架扩展更多实用功能,如自媒体的创意素材生成、教育领域的图文演示制作、设计行业的快速原型迭代等,进一步丰富 Dify 平台的图像创作应用场景。

感兴趣的小伙伴可以按照这份指南尝试搭建自己的 Qwen-Image 生成工作流,甚至结合其他 AI 工具拓展更多创意玩法。今天的分享就到这里结束了,我们下一篇文章见。

相关推荐
IT_陈寒2 小时前
Redis 性能翻倍的 7 个冷门技巧,第 5 个大多数人都不知道!
前端·人工智能·后端
mCell8 小时前
GSAP ScrollTrigger 详解
前端·javascript·动效
gnip8 小时前
Node.js 子进程:child_process
前端·javascript
excel11 小时前
为什么在 Three.js 中平面能产生“起伏效果”?
前端
excel13 小时前
Node.js 断言与测试框架示例对比
前端
天蓝色的鱼鱼14 小时前
前端开发者的组件设计之痛:为什么我的组件总是难以维护?
前端·react.js
codingandsleeping14 小时前
使用orval自动拉取swagger文档并生成ts接口
前端·javascript
石金龙15 小时前
[译] Composition in CSS
前端·css
白水清风15 小时前
微前端学习记录(qiankun、wujie、micro-app)
前端·javascript·前端工程化