Style Aligned image generation via shared attention

和controlnet的reference only技术类似。

1.introduction

StyleAligned,能够在生成的图像集上实现consistent style interpretation的方法。可以应用于任何基于注意力的文本到图像扩散模型上,在扩散过程中通过从每个生成的图像到batch中的第一个图像进行最小的attention sharing operations,可以得到一组具有一致风格的图像,此外利用扩散反演,可以根据参考风格图像生成具有一致风格的图像,无需优化或微调。

2.Related work

扩散过程中的cross/self-attention对生成图像的布局和内容起到了决定性作用。StyleAligned可以在没有优化阶段和没有依赖训练多个图像的情况下生成一致的图像集合。

3.Method overview

3.1 Preliminaries

T2I扩散模型采用了unet架构,由卷积层和Transformer注意力块组成,在这些注意力机制中,深层图像特征通过self-attention与彼此交互,并通过cross-attention与上下文文本embedding交互。

StyleAligned在self-attention上进行,通过attending to each other来更新深层特征。1.通过learned linear layers将特征投影为QKV;2.计算scaled dot-product attention;直观的看,每个图像特征都是通过V的加权来更新的,其中权重取决于Q和K之间的相关性,

3.2 StyleAligned image set generation

我们方法的目标是生成一组与输入的文本提示集{y1,y2,...yn}对齐并具有一致风格的图像级{L1,...Ln},在图3中可以看到Toy对象的数据集和上方的输入文本风格对齐。生成具有不同内容的风格对齐图像集的一种朴素的方法是在文本提示中使用相同的风格描述,但是在图2中已经展示共享风格描述来生成不同图像会导致不对齐的图像集。

StyleAligned的关键在于利用self-attention机制在各个生成的图像之间进行通信,这是通过在生成图像之间sharing attention layers来实现的。

QKV分别为从集合Li的深层特征投影中得到的query,key和value,full attention sharing可能会影响生成图的质量,会导致图像之间的内容泄露,例如图5所示,图像集中的独角兽染上了恐龙身上的绿色颜料。并且full attention sharing还导致了更少样式的集合。

为了限制内容泄露并允许多样性的集合,我们将注意力仅共享给生成集中的一张图片,通常是batch中的第一张,也就是说,target图像特征仅关注自身以及集合中的一张reference图像的特征,为了实现平衡的reference注意力,使用了AdaIN来对目标的Q和K进行规范化。

4.Evaluations and experiements

在sdxl上应用attention sharing,对模型70层self-attention。单个A100生成四张图需要29s。

相关推荐
坤坤爱学习2.09 分钟前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
蹦蹦跳跳真可爱58944 分钟前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
空中湖3 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan773 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航6 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
onceco6 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
天水幼麟7 小时前
动手学深度学习-学习笔记(总)
笔记·深度学习·学习
jndingxin9 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉
天水幼麟9 小时前
动手学深度学习-学习笔记【二】(基础知识)
笔记·深度学习·学习
Sweet锦9 小时前
零基础保姆级本地化部署文心大模型4.5开源系列
人工智能·语言模型·文心一言