[大语言模型] LINFUSION:1个GPU,1分钟,16K图像

  1. 文章

2409.02097 (arxiv.org)https://arxiv.org/pdf/2409.02097

LINFUSION: 1 GPU, 1 MINUTE, 16K IMAGE

摘要

本文介绍了一种新型的扩散模型LINFUSION,它能够在保持高分辨率图像生成性能的同时显著降低时间和内存复杂度。该模型采用了基于Transformer的UNet进行去噪,并且通过引入线性注意力机制替代了传统的自注意力操作,以解决高分辨率视觉内容生成中的挑战。研究者们从最近引入的具有线性复杂度的模型中获得灵感,提出了一种新的线性注意力范式,该范式可作为多种流行的线性令牌混合器的低秩近似。通过从预训练的StableDiffusion (SD)模型中初始化并进行知识蒸馏,LINFUSION在适度训练后即可达到或超过原始SD的性能,同时显著减少时间和内存复杂度。实验表明,LINFUSION能够生成高达16K分辨率的高分辨率图像,并且与预训练的SD组件(如ControlNet和IP-Adapter)高度兼容。

创新点

  1. 提出了一种新的线性注意力机制,作为传统自注意力方法的替代,以解决高分辨率图像生成中的时间和内存复杂度问题。
  2. 引入了注意力归一化和非因果推理两个关键特性,以增强高分辨率视觉生成性能。
  3. 通过知识蒸馏的方式,从预训练的StableDiffusion模型中初始化并优化LINFUSION,减少了训练成本并提高了与现有模型的兼容性。

算法模型

LINFUSION模型基于Stable Diffusion (SD),通过以下关键技术构建:

  • 线性注意力机制 :替代SD中的自注意力层,以线性复杂度处理空间令牌。

  • 注意力归一化 :确保不同输入规模下的总影响保持一致。

  • 非因果推理 :允许模型同时访问所有噪声空间令牌并基于整个输入生成去噪令牌。

  • 知识蒸馏:从预训练的SD模型中转移知识,以优化LINFUSION模型。

实验效果

  • 生成速度和内存消耗:在8步去噪和单GPU情况下,与原始SD-v1.5相比,LINFUSION在不同分辨率下的生成速度更快,内存消耗更低。
  • 跨分辨率生成性能:在SD-v1.5、SD-v2.1和SD-XL上的实验表明,LINFUSION在零样本跨分辨率生成性能上令人满意,能够生成高达16K分辨率的图像。
  • 与预训练组件的兼容性:LINFUSION与SD的现有组件(如ControlNet和IP-Adapter)高度兼容,无需额外训练成本。
相关推荐
hie9889412 分钟前
MATLAB锂离子电池伪二维(P2D)模型实现
人工智能·算法·matlab
晨同学032714 分钟前
opencv的颜色通道问题 & rgb & bgr
人工智能·opencv·计算机视觉
蓝婷儿25 分钟前
Python 机器学习核心入门与实战进阶 Day 3 - 决策树 & 随机森林模型实战
人工智能·python·机器学习
大千AI助手27 分钟前
PageRank:互联网的马尔可夫链平衡态
人工智能·机器学习·贝叶斯·mc·pagerank·条件概率·马尔科夫链
小和尚同志1 小时前
Cline | Cline + Grok3 免费 AI 编程新体验
人工智能·aigc
我就是全世界1 小时前
TensorRT-LLM:大模型推理加速的核心技术与实践优势
人工智能·机器学习·性能优化·大模型·tensorrt-llm
.30-06Springfield1 小时前
决策树(Decision tree)算法详解(ID3、C4.5、CART)
人工智能·python·算法·决策树·机器学习
我不是哆啦A梦1 小时前
破解风电运维“百模大战”困局,机械版ChatGPT诞生?
运维·人工智能·python·算法·chatgpt
galaxylove1 小时前
Gartner发布塑造安全运营未来的关键 AI 自动化趋势
人工智能·安全·自动化
强哥之神2 小时前
英伟达发布 Llama Nemotron Nano 4B:专为边缘 AI 和科研任务优化的高效开源推理模型
人工智能·深度学习·语言模型·架构·llm·transformer·边缘计算