FLUX.1 实测,堪比 Midjourney 的开源 AI 绘画模型,无需本地显卡,带你免费实战

要列举 AI 绘画开源界的几个关键贡献,一定少不了 Stable Diffusion。

还记否前不久刚推出的 Stable Diffusion 3?

其背后的团队 Stability AI,真的是一波三折,其核心成员出走,成立了一个新公司:Black Forest Labs - 黑暗森林。

这不,刚刚开源了一款 AI 绘画模型,直接踢馆老东家,其生成效果,完全可以媲美闭源的 Midjourney。

今日分享,就带大家来体验一番,并在本地部署起来。

之前我的 AI 绘画,都是来自本地部署的 sd-webui。终于,我的 Stable Diffusion 2 该下线 - 光荣退休了?

No!No!No!

尽管 Flux.1 的表现可圈可点,不过要说能完全替代 sd,至少现阶段,还不至于。

我们先来实测体验一番~

目录

  • [1. Flux.1 简介](#1. Flux.1 简介)
  • [2. 在线体验](#2. 在线体验)
  • [3. 本地部署](#3. 本地部署)
    • [3.1 模型下载地址](#3.1 模型下载地址)
    • [3.2 ModelScope 实战](#3.2 ModelScope 实战)
      • [Step1:下载 ComfyUI](#Step1:下载 ComfyUI)
      • Step2:下载模型
      • [Step3:启动 ComfyUI](#Step3:启动 ComfyUI)
      • [Step4:cloudflared 安装和使用](#Step4:cloudflared 安装和使用)
      • Step5:愉快玩耍
  • 写在最后

1. Flux.1 简介

FLUX.1 AI 号称的优势有:

• 卓越的视觉质量: 生成具有出色细节和清晰度的图像。

• 精确的提示词遵循: 准确地将文本提示转化为图片,一次生成,无需抽卡。

• 多样化的风格: 支持广泛的艺术风格。

• 复杂场景生成: 创建精细详尽的场景。

真的有吹的那么神么?我们来实测体验一番👇

2. 在线体验

我们以官网的地址为例,一起来体验一下。

使用非常简单,文本框输入你想要生成的内容,右侧一键 Run

右侧提示框出现分配到GPU后,生成一张图像大概 30-50S 左右。

我用下面这个提示词实测了一下,第一次尝试在图片中生成中文,居然失败了!

所以最好使用英文提示词。

A Monkey holding up a sign with a rainbow in it, 
reading "猴哥 AI"

不过有一说一,这个 mokey 的毛发生成的还挺精细的~

当然,下方还可以进行一番简单的设置,比如最基础的希望生成图像的宽和高:

然后,我们把提示词修改一下,让它生成一只卡通猴子~

A catoon monkey with smile holding up a sign with a rainbow in it, reading "AI".

哈哈,尽管并没完全按照指令生成。不过,个人感觉还是挺可爱的,用来做logo、做封面怎么样?

再来测试一个封面图,我让它写上 Houge AI

A round chocolate cake decorated with chocolate shavings, topped with the words Houge AI in white icing and garnished with red cherries. The cake is positioned on a white plate on a wooden table, with a coffee cup and saucer in the background.

接着,我们再从 AI 绘画社区中找一些垂类模型的提示词来实测一下:

1girl,sweater,white background,

简单的提示词,默认是生成卡通类型的图像:

再给加点料:

masterpiece,best quality,1girl,moyou,seductive smile,(Turtleneck_sweater_dress:1.5),(Thigh-high_boots:1.4),(Wide-brim_hat:1.3),(Autumn_foliage_background:1.3)

生成一张写实类的吧:

official art,Best quality,masterpiece,ultra high res,((photorealistic:1.4)),((deep Focus)),raw photo,extremely delicate,intricate details,best shadow,1girl,upper body,beautiful,cool,smallface,detailed face,((detailed very long hair)),(pale skin),((brown eyes)),deep shadow,look away,film grain,low key,soft lighting,poised poise,dramatic angles,geometric shapes,contrasts of light and shadow,high-tech backdrop,crisp lines

别的不说,细节绝对拉满。Asian girl 亚洲脸,能不能行?

有一说一,Flux 在细节处理上已经足够逼真,不过写实类的还得是垂类大模型~

官方体验地址,因为 GPU 资源有限,高峰期容易排队失败~

但这是一个开源模型,我们完全可以本地跑起来,接着就带着大家实操一番~

3. 本地部署

Flux.1 根据模型大小,分为三个版本:

  • Schnell:最快的模型。

  • Dev:在速度和质量之间提供平衡,并支持更多定制选项。

  • Flux.1 Pro:最强模型,模型不开源,只提供 API。

实测来看,开源最强,当之无愧!

唯一的缺点,就是模型参数量太大了,开源的两个版本都有 23.8G,就这一点,就拦住了不少玩家。

不过话说回来,模型参数量小,且还能打的,至少现阶段是不现实的。

3.1 模型下载地址

项目地址:https://github.com/black-forest-labs/flux

模型首发在 Huggingface 上,不过已经有同学迁移到了阿里的 modelscope 上。考虑到国内的小伙伴访问 Huggingface 比较困难,我们这次直接从 modelscope 下载。

两个初始模型有 23.8G:

社区有小伙伴提供了量化版,体积小了一半,不过表现略差,不知道是不是我参数设置的原因,欢迎小伙伴们评论区交流。

附下载地址:

!注意 :即便是量化后的 11.9G 模型,跑起来也至少需要 16G 显存的消费级显卡。

如果你的显存不足,可以接着往下看👇

3.2 ModelScope 实战

本地部署,我们这次采用阿里云的 GPU 服务器进行演示,如果你有本地 GPU 主机,当然下面是实操也是通用的。

首先,前往 modelscope 首页注册一个账号,新用户是有 GPU 免费使用额度的,选择下方的 GPU 环境,点击启动,你就可以拥有一台 24G 显存的云主机。

Step1:下载 ComfyUI

实例启动后,打开一个终端,然后 git clone 下载 ComfyUI:

git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
pip install -r requirements.txt

Step2:下载模型

实例镜像中默认安装好了 modelscope 下载命令,运行下方指令,下载我们所需的模型:

# FLUX1-DEV
modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/unet/ flux1-dev.sft
modelscope download --model=AI-ModelScope/flux-fp8 --local_dir ./models/unet/ flux1-dev-fp8.safetensors

# text encoder model
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp16.safetensors
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ clip_l.safetensors
modelscope download --model=AI-ModelScope/flux_text_encoders --local_dir ./models/clip/ t5xxl_fp8_e4m3fn.safetensors

# vae
modelscope download --model=AI-ModelScope/FLUX.1-dev --local_dir ./models/vae/ ae.sft

给大家看下下载速度,300-400M/s,超快~

Downloading:  82%|███████████████████████████████████████████████████████████████████████████████████████████████▍                     | 18.1G/22.2G [00:54<00:11, 374MB/s]

如果你是在其他云主机 or 本地服务器上,需要首先安装 modelscope download 工具:

pip install modelscope

Step3:启动 ComfyUI

ComfyUI 提供了一键启动脚本,运行下方指令,即可打开一个 web 客户端:

python main.py

默认端口号是:http://127.0.0.1:8188

不过,modelscope 上的云主机是没有公网 IP 的,你在本地浏览器当然是打不开的,怎么搞?

你需要一个内网穿透工具~

有没有最便捷的方式,实现内网穿透?

当然,强推 cloudflared 👇

Step4:cloudflared 安装和使用

仓库:https://github.com/cloudflare/cloudflared
cloudflared 是啥?

海外云厂商 Cloudflare 提供的一个命令行工具,用于创建安全的隧道,以便将本地服务暴露到互联网。

首先下载最新版的 cloudflared Debian 软件包(.deb 文件),并使用 dpkg 工具直接安装,无需编译。

wget https://mirror.ghproxy.com/https://github.com/cloudflare/cloudflared/releases/latest/download/cloudflared-linux-amd64.deb

dpkg -i cloudflared-linux-amd64.deb

看到如下输出,则说明安装成功:

(正在读取数据库 ... 系统当前共安装有 83567 个文件和目录。)
准备解压 cloudflared-linux-amd64.deb  ...
正在解压 cloudflared (2024.6.1) 并覆盖 (2024.6.1) ...
正在设置 cloudflared (2024.6.1) ...

此外,还可以查看下cloudflared版本:

cloudflared -v
# 输出
cloudflared version 2024.6.1

由于 ComfyUI 的服务在 8188 端口上,所以我们用 cloudflared 开启一个监听隧道:

cloudflared tunnel --url http://127.0.0.1:8188

监听成功后,找到下面这个临时的 url:

打开浏览器看看吧:

大功告成,开始 ComfyUI 之旅吧~

Step5:愉快玩耍

首先,把 flux1-dev 模型的配置文件下载到本地:https://modelscope.oss-cn-beijing.aliyuncs.com/resource/flux1-dev-test.json

然后,点击 Load 加载配置文件:

最后,输入你想要生成的提示词,以及图片大小设置。点击 Queue Prompt 开始生成,流程中的高亮模块,说明正在加载模型:

我这边实测,1360 x 768 大小的图像,量化版本的模型大约占用 14G 显存,所以一张消费级显卡完全够用。

有一说一:ModelScope 的云端 GPU 环境跑模型还是很爽的,尤其是下载 ModelScope 上的模型,速度直接拉满;唯一的缺陷是,模型权重文件等无法持久保存,一旦断掉后,还得重头再来一般。

写在最后

本文实测了地表最强开源 AI 绘画模型,手把手教你从在线体验到本地部署。就算你没有土豪级显卡,也可以用云端 GPU 来玩耍。

不得不说,这波 AI 绘画的更新迭代,看得人眼花缭乱、热血沸腾!

不知道下一个惊喜又会是谁呢?让我们拭目以待~

关于开源 AI 大模型的文章,我打算做成一个专栏,目前已经收录了:

后面会定期更新,感兴趣的小伙伴欢迎关注。

相关推荐
HuggingFace42 分钟前
Halo 正式开源: 使用可穿戴设备进行开源健康追踪
开源·健康追踪
程序员X小鹿4 小时前
AI视频自动剪辑神器!点赞上万的影视剧片段,一键全自动剪辑,效率提升80%!(附保姆级教程)
aigc
时光追逐者4 小时前
.NET 9 中 LINQ 新增功能实操
开发语言·开源·c#·.net·.netcore·linq·微软技术
檀越剑指大厂7 小时前
Linux本地部署开源项目OpenHands基于AI的软件开发代理平台及公网访问
linux·人工智能·开源
学习前端的小z8 小时前
【AIGC】如何准确引导ChatGPT,实现精细化GPTs指令生成
人工智能·gpt·chatgpt·aigc
胜天半子_王二_王半仙19 小时前
c++源码阅读__ThreadPool__正文阅读
开发语言·c++·开源
刘悦的技术博客20 小时前
MagicQuill,AI动态图像元素修改,AI绘图,需要40G的本地硬盘空间,12G显存可玩,Win11本地部署
ai·aigc·python3.11
FIT2CLOUD飞致云1 天前
案例研究|阿特斯的JumpServer分布式部署和多组织管理实践
运维·开源·堡垒机·jumpserver
硬汉嵌入式1 天前
《安富莱嵌入式周报》第344期:开源手表一年的误差不到1秒,开源32路IMU传感器矩阵,STM32L4驱动1080p显示屏,英飞凌推出USB 20Gbps单片机
单片机·矩阵·开源
xindoo1 天前
如何用GPT-4o解读视频
aigc·gpt-3·音视频