【AI绘画】Alpha-VLLM 的 Lumina-Next:新一代图像生成器

简介

Lumina-Next-T2I 是在 Lumina-T2I 成功基础上发展起来的尖端图像生成模型。它采用了带有 2B 参数模型的 Next-DiT 和 Gemma-2B 文本编码器,推理速度更快,生成样式更丰富,并增强了多语言支持。

模型架构

Lumina-Next-T2I 的生成模型建立在 Next-DiT 骨干之上,文本编码器是 Gemma 2B 模型,而 VAE 则使用由 stabilityai 微调的 sdxl 版本。

  • 生成模型: Next-DiT
  • 文本编码器 Gemma-2B
  • VAE: sdxl-vae

新闻和更新

  • 2024 年 5 月 12 日,Lumina-Next-T2I 型号发布,为图像生成提供了更快更低的内存使用率。

安装

  1. 创建 conda 环境并安装 PyTorch 注意:您可能需要根据驱动程序版本调整 CUDA 版本
bash 复制代码
conda create -n Lumina_T2X -y
	conda activate Lumina_T2X
	conda install python=3.11 pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=12.1 -c pytorch -c nvidia -y
  1. 安装依赖
bash 复制代码
pip install diffusers huggingface_hub
pip install flash-attn --no-build-isolation
  1. Diffusers推理
bash 复制代码
from diffusers import LuminaText2ImgPipeline
import torch

pipeline = LuminaText2ImgPipeline.from_pretrained("/path/to/ckpt/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

# or you can download the model using code directly
# pipeline = LuminaText2ImgPipeline.from_pretrained("Alpha-VLLM/Lumina-Next-SFT-diffusers", torch_dtype=torch.bfloat16).to("cuda")

image = pipeline(prompt="Upper body of a young woman in a Victorian-era outfit with brass goggles and leather straps. "
                        "Background shows an industrial revolution cityscape with smoky skies and tall, metal structures").images[0]

鉴赏效果

A winter landscape with a frozen lake, snow-covered pine trees, and a small cabin with smoke coming out of the chimney.

An astronaut standing on a moonlit alien planet, with purple mountains and two large moons in the sky.

A rustic farmhouse kitchen with a wooden table, a bowl of fresh apples, and a cat curled up on a chair.

This is the Lumina output, and I wanted to show it because it was cartoony

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。点赞并关注,获取最新科技动态,不落伍!🤗🤗🤗

相关推荐
云天徽上9 天前
【目标检测】图像处理基础:像素、分辨率与图像格式解析
图像处理·人工智能·目标检测·计算机视觉·数据可视化
Vertira9 天前
PyTorch中的permute, transpose, view, reshape和flatten函数详解(已解决)
人工智能·pytorch·python
heimeiyingwang9 天前
【深度学习加速探秘】Winograd 卷积算法:让计算效率 “飞” 起来
人工智能·深度学习·算法
lsd&xql9 天前
AI大模型(四)openAI应用实战
人工智能
飞哥数智坊9 天前
AI编程实战:使用Cursor,65分钟轻松打造番茄时钟应用
人工智能
匿名的魔术师9 天前
实验问题记录:PyTorch Tensor 也会出现 a = b 赋值后,修改 a 会影响 b 的情况
人工智能·pytorch·python
Ven%9 天前
PyTorch 张量(Tensors)全面指南:从基础到实战
人工智能·pytorch·python
说私域9 天前
云零售新中枢:定制化“开源AI智能名片+S2B2C商城小程序”驱动的沉浸式触点进化论
人工智能·小程序·开源·零售
墨风如雪9 天前
告别插件时代!OmniGen2:一个模型,通吃所有AIGC神操作
aigc
明似水9 天前
ChatGPT:人工智能对话革命的里程碑与未来展望
人工智能·chatgpt