超越sd3!比肩Midjourney-v6?AI绘画大模型FLUX1.0详细评测与本地部署方法(附安装文件)

FLUX.1模型是什么?

FLUX模型是一个开源的AI图像生成模型,由黑森林工作室研发。

堪比sd3以及Midjourney-v6

背景/backdrop

黑森林工作室(Black Forest Labs)由前Stability AI核心成员团队成立,专注于开发高级生成式AI模型。以下是该工作室的一些背景信息:

创始团队:

• 艾里克·斯通(Eric Stone):在深度学习和模型压缩方面具有丰富经验,致力于提升模型的计算效率和生成质量 。

• 卡拉·李(Cara Lee):负责模型的工程实现和优化,确保模型在不同硬件平台上的高效运行 。

• 雷恩·托马斯(Ryan Thomas):专注于大规模数据处理和模型训练管道的开发,提升了模型的训练速度和稳定性 。

技术贡献:

• 团队成员曾参与开发过多个知名的AI项目,包括VQGAN、Latent Diffusion和Stable Diffusion等 。这些项目在生成式AI领域具有重要影响力,为FLUX模型的开发奠定了坚实的基础。

融资与支持:

• 黑森林工作室获得了由安德森·霍洛维茨(Andreessen Horowitz)领投的3100万美元融资,其他投资者包括布伦丹·伊里比(Brendan Iribe)、迈克尔·奥维茨(Michael Ovitz)、加里·谭(Garry Tan)、提莫·艾拉(Timo Aila)和弗拉德伦·科尔顿(Vladlen Koltun)等知名专家 。

模型发布:

• FLUX模型是他们最新的开源图像生成模型,拥有120亿参数,能够处理复杂的图像生成任务,同时保持较高的效率 。FLUX模型的权重和推理代码已在HuggingFace和GitHub上公开,方便开发者使用和二次开发 。

FLUX.1功能特点

**强大的文本理解和生成能力:**FLUX模型能够精确地理解和执行用户的文本提示,生成图像时的提示跟随能力较强。这意味着用户可以更准确地通过文字描述生成所需的图像 。

**高质量图像输出:**该模型生成的图像细节丰富,色彩鲜明,整体质量较高。尤其是在生成手指和手部细节方面,FLUX.1取得了显著的进步,解决了许多AI模型在这方面常见的错误 。

**多样化的图像风格和输出:**FLUX模型可以生成多种风格的图像,从写实风格到超现实主义,再到简约卡通风格,满足用户的各种创意需求 。

开源和社区支持:FLUX模型的权重和推理代码在HuggingFace和GitHub上公开,便于开发者使用和二次开发。此外,用户还可以通过Replicate和fal.ai等平台在线体验FLUX模型的功能

FLUX.1模型的3个版本

pro专业版

性能最佳,但只能通过API调用

dev开发版

由pro版提炼而来,生成质量相似,略差一点

schnell快速版

比dev更差,但速度更快

FLUX.1本地部署条件

最新版comfyUI

电脑配置(16g显存以上+32g内存以上)

FLUX.1模型文件下载

hugginface

dev版https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main

schnell版https://huggingface.co/black-forest-labs/FLUX.1-schnell

github

https://github.com/black-forest-labs/flux

打包好的文件

链接: https://pan.baidu.com/s/1BSpw63l4_y9YtlKXXK1JJw?pwd=fhsb 提取码: fhsb

FLUX.1模型本地部署

将下载好的文件放入对应的根目录

模型本体文件(flux1-dev.sft)➡️ models的unet文件夹

vae文件(flux-ae.sft)➡️ vae文件夹

clip文件(带clip的与带t5xxl的文件)➡️ clip文件夹

运行FLUX.1模型

打开comfyUI加载对应的工作流(FLUX.json)

unet、clip、vae都选择flux对应的,

如果我们用的是完整版的dev模型,这个权重模型就用默认的,

clip那些用哪个其实也相差无几。

参数方面先用默认就好,然后我们是不需要写负面提示词设置cfg的

跑图评测

整个跑图的时长还是很长的,一张图片3分多钟,我现在这个配置是32g内存+16g显存,跑图过程内存是直接拉满的100%,生成的效果我觉得还是很棒的,真比sd3medium强,但细节还是稍差Midjourney一点,仅此而已,配置如果足够好的话用来替代mj倒也行,特别是后面开始适配controlnet跟IPadapter,但我估计4090ti都不太够

相关推荐
小王格子几秒前
AI 编程革命:腾讯云 CodeBuddy 如何重塑开发效率?
人工智能·云计算·腾讯云·codebuddy·craft
MonkeyKing_sunyuhua12 分钟前
VSCode + Cline AI辅助编程完全指南
ide·人工智能·vscode
Leinwin18 分钟前
Microsoft Azure 服务4月更新告示
人工智能·azure
胡耀超22 分钟前
霍夫圆变换全面解析(OpenCV)
人工智能·python·opencv·算法·计算机视觉·数据挖掘·数据安全
jndingxin30 分钟前
OpenCV CUDA 模块中用于在 GPU 上计算两个数组对应元素差值的绝对值函数absdiff(
人工智能·opencv·计算机视觉
jerry60930 分钟前
LLM笔记(五)概率论
人工智能·笔记·学习·概率论
硅谷秋水31 分钟前
学习以任务为中心的潜动作,随地采取行动
人工智能·深度学习·计算机视觉·语言模型·机器人
Tiny番茄1 小时前
Multimodal models —— CLIP,LLava,QWen
人工智能
Wnq100721 小时前
工业场景轮式巡检机器人纯视觉识别导航的优势剖析与前景展望
人工智能·算法·计算机视觉·激光雷达·视觉导航·人形机器人·巡检机器人