黑森林研究所提出KV缓存方式让生图模型能更好地多参考编辑


FLUX.2 [klein] 9B-KV 是 FLUX.2 [klein] 9B 的优化版本,具备KV缓存加速多参考图编辑功能。该变体在首次去噪步骤中缓存参考图的键值对,消除后续步骤的冗余计算,显著加速多图编辑流程。

了解更多 FLUX.2 [klein] 信息,请阅读我们的博客文章

核心特性

  1. KV缓存优化:参考图键值对仅计算一次并缓存,多参考图编辑任务可减少计算量,推理速度提升高达2.5倍
  2. 完整保留 FLUX.2 [klein] 9B 所有能力:亚秒级生成、文生图、多参考图编辑的统一模型
  3. 特别适合需要重复使用相同参考图的交互式应用和实时编辑场景
  4. 90亿参数流模型,搭配80亿参数Qwen3文本编码器,通过步数蒸馏实现4步推理
  5. 仅供非商业用途使用

KV缓存原理

标准图像编辑流程会在每个去噪步骤重复处理参考图token。采用KV缓存后:

  • 步骤0:完整前向传播处理参考图token,提取键值对存入缓存
  • 步骤1-3:复用缓存键值对,跳过冗余的参考图token计算

该技术特别适用于:

  • 多参考图编辑场景
  • 使用相同参考图生成变体
  • 开发交互式编辑应用

使用方式

我们在GitHub仓库提供了参考实现。

API接口

可通过 BFL API 使用 FLUX.2 [klein] 9B-KV,访问 bfl.ai

搭配Diffusers 🧨使用

如需通过 🧨 Diffusers python库使用 FLUX.2 [klein] 9B-KV,请先安装或升级diffusers:

shell 复制代码
pip install git+https://github.com/huggingface/diffusers.git

然后你可以使用Flux2KleinKVPipeline来运行模型:

python 复制代码
import torch
from diffusers import Flux2KleinKVPipeline

device = "cuda"
dtype = torch.bfloat16
model_path = "black-forest-labs/FLUX.2-klein-9b-kv"

pipe = Flux2KleinKVPipeline.from_pretrained(model_path, torch_dtype=dtype)
pipe.to(device)

# Text-to-image (no reference image)
print("Generating text-to-image...")
image = pipe(
    prompt="A cat holding a sign that says hello world",
    height=1024,
    width=1024,
    num_inference_steps=4,
    generator=torch.Generator(device=device).manual_seed(0),
).images[0]
image.save("t2i_output.png")
print("Saved t2i_output.png")

# Image-to-image with KV cache (using the generated image as reference)
print("Generating image-to-image with KV cache...")
image_kv = pipe(
    prompt="A cat dressed like a wizard",
    image=image,
    height=1024,
    width=1024,
    num_inference_steps=4,
    generator=torch.Generator(device=device).manual_seed(0),
).images[0]
image_kv.save("kv_output.png")
print("Saved kv_output.png")

局限性

  • 本模型不具备亦不意图提供事实性信息
  • 生成的文本内容可能存在不准确或失实表述
  • 作为统计模型可能反映或放大训练数据中的偏见
  • 存在无法按提示要求生成内容的情况
  • 输出结果对提示风格极为敏感

禁止用途

依据使用政策规定,禁止将本模型及其衍生品用于违法、欺诈、诽谤、滥用等违反许可协议的用途。

硬件要求

FLUX.2 [klein] 9B-KV模型需约29GB显存,需配备NVIDIA RTX 5090及以上显卡。


负责任AI开发

黑森林实验室致力于负责任的模型开发与部署。在发布FLUX.2 [klein] 9B-KV前,我们已评估并缓解了包括儿童性虐待材料(CSAM)和非自愿亲密影像(NCII)在内的多项风险。完整评估流程、内容溯源功能及政策详见博文:强大、开放与安全:防范AI滥用

安全事项举报请联系:safety@blackforestlabs.ai


许可协议

本模型采用FLUX非商业许可

商标与知识产权

本项目可能包含相关项目的商标或标识。修改版本中使用黑森林实验室及FLUX商标时不得暗示官方授权。第三方商标及知识产权的使用受相关方政策约束。

相关推荐
酱紫学Java2 小时前
AI 提示词注入 (Prompt Injection)
网络·人工智能·安全
风巽·剑染春水2 小时前
【技术追踪】具有多图像视觉能力的医学大视觉语言模型(MICCAI-2025)
人工智能·语言模型·自然语言处理·视觉语言模型·医学影像
Lab_AI2 小时前
仪器管理全新升级:批量自动化与全生命周期管理,任务完成时间由30分钟缩短为3分钟
人工智能·实验室管理·仪器管理·实验室仪器管理·研发创新
wukangjupingbb2 小时前
AIDD开源大模型测试指标
人工智能·aidd
智海观潮2 小时前
只用一周时间通过AI工具重写Next.js,Cloudflare推出vinext重建前端开发边界
开发语言·javascript·人工智能·大模型·web
BackCatK Chen2 小时前
国家超算互联网下调OpenClaw Token成本,开源AI智能体算力瓶颈迎来突破
人工智能·云计算·互联网·tokens·openclaw·国家超算
智能工业品检测-奇妙智能2 小时前
化工行业安全体系管理平台如何助力企业实现安全生产标准化
服务器·人工智能·安全·openclaw·奇妙智能
skywalk81632 小时前
OpenClaw启动后,web控制面板无法登录,返回信息:Not Found
开发语言·人工智能·openclaw
大强同学2 小时前
skill-vetter:安全审查员
人工智能·ai编程
我材不敲代码2 小时前
OpenCV 实战——从手机轮廓到鲜花轮廓:图像边缘检测与轮廓近似全解析
人工智能·opencv·计算机视觉