无需微调!IP-Adapater助力AIGC造型设计🧑‍🎨

ip-adapter是2023年由腾讯团队推出的用于文本到图像扩散模型的文本兼容图像提示适配器, 将图片作为提示prompt去引导stable diffusion生成图片。

平时我们用stable diffusion来生图,都要设计好精确的文本prompt来引导。但是一图胜千言,再好的文字描述也比不上一张参考图片中包含的丰富信息。

🤔对于我个人的使用体验来说,ip-adapter最惊喜的是能够无训练就快速进行风格转换(无需写提示词),而且生成的图片能够为造型设计带来不一样的灵感。

For Example......

🚗🐱汽车前脸+猫猫脸

🍎💓苹果+香水

💐🍃野兽派+Snoopy

一个可爱snoopy样式的花瓶~

使用ip-adapter进行造型设计 的关键就是参考图片和输入图片都必须是较高清的物体,比如上面的汽车和猫猫就都是明确的物体,如果ip-image是一幅画的话,那就是风格转换或者背景替换了。

参数范围 ⚠️

下面是平时使用ip-adapter时,觉得比较适合的参数范围,仅供大家参考~

  • strength-重绘幅度: 0.5-0.7之间

  • scale-ip_adapter的影响因子:0.7~0.9之间

  • num_inference_steps:20-30即可

一些官方效果

ip-adapter可以结合diffusers库的各种pipeline使用, 代码链接如下~

github.com/tencent-ail...

image variation

img2img

inpainting

模型 🧀

模型在huggingface.co/h94/IP-Adap... 下载,主要包括基于sdv1_5和sdxl的模型

vae模型下载链接: huggingface.co/stabilityai...

下面这篇文章介绍了ip-adapter不同模型的作用,可供大家选择参考~

blog.csdn.net/JuMengXiaoK...

上面介绍ip-adapter的效果,下面我们就来浅浅地解析一下ip-adapter的技术原理~

ip-adapter的技术框架

其实ip-adapter就是将文本特征和图像特征通过decouple cross attention合并在一起,再将decouple cross attention的特征跟潜在表示z做注意力机制,与stable diffusion的cross attention机制类似。

我们先来复习一下stable diffusion中,文本是如何做引导的:

可以从图中看到,文本特征与隐变量z实施交叉注意力机制,实现了信息的精密融合与注入,输入文本的交叉注意力计算公式为:

对于图像特征,使用CLIP提取,再将图像特征映射到跟文本特征一样的维度,输入图片的交叉注意力计算公式为:

最后将计算得到的注意力分数相加,注入unet的transformers 模块中。

这种将文本注意力和图片注意力分开直接相加的方法,在论文里也被称作解耦交叉注意力机制:

运行代码,打印unet的代码结构,我们可以看到每一层cross attention都被注入了IPAttnProcessor模块,IPAttnProcessor实现了decouple cross attention机制

js 复制代码
 (0): CrossAttnDownBlock2D(
      (attentions): ModuleList(
        (0): Transformer2DModel(
          (norm): GroupNorm(32, 320, eps=1e-06, affine=True)
          (proj_in): Conv2d(320, 320, kernel_size=(1, 1), stride=(1, 1))
          (transformer_blocks): ModuleList(
            (0): BasicTransformerBlock(
              (norm1): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn1): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=320, out_features=320, bias=False)
                (to_v): Linear(in_features=320, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): AttnProcessor() 
              )
              (norm2): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn2): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=768, out_features=320, bias=False)
                (to_v): Linear(in_features=768, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): IPAttnProcessor(
                  (to_k_ip): Linear(in_features=768, out_features=320, bias=False)
                  (to_v_ip): Linear(in_features=768, out_features=320, bias=False)
                )
              )

所以IP-Adapter的原理就是如此简单,其实就是将图片也作为prompt来引导生图过程了~

结尾 🦋

今天我们介绍了使用IP-Adapter为造型设计提供灵感的方法,也简单解释了一下IP-Adapter的原理~下次的文章将会介绍更多diffusion风格转换的方法,敬请期待哦

相关推荐
香菜大丸2 分钟前
链表的归并排序
数据结构·算法·链表
jrrz08282 分钟前
LeetCode 热题100(七)【链表】(1)
数据结构·c++·算法·leetcode·链表
oliveira-time14 分钟前
golang学习2
算法
北京搜维尔科技有限公司28 分钟前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域31 分钟前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr31 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆36 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
云起无垠1 小时前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
老艾的AI世界1 小时前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
南宫生1 小时前
贪心算法习题其四【力扣】【算法学习day.21】
学习·算法·leetcode·链表·贪心算法