无需微调!IP-Adapater助力AIGC造型设计🧑‍🎨

ip-adapter是2023年由腾讯团队推出的用于文本到图像扩散模型的文本兼容图像提示适配器, 将图片作为提示prompt去引导stable diffusion生成图片。

平时我们用stable diffusion来生图,都要设计好精确的文本prompt来引导。但是一图胜千言,再好的文字描述也比不上一张参考图片中包含的丰富信息。

🤔对于我个人的使用体验来说,ip-adapter最惊喜的是能够无训练就快速进行风格转换(无需写提示词),而且生成的图片能够为造型设计带来不一样的灵感。

For Example......

🚗🐱汽车前脸+猫猫脸

🍎💓苹果+香水

💐🍃野兽派+Snoopy

一个可爱snoopy样式的花瓶~

使用ip-adapter进行造型设计 的关键就是参考图片和输入图片都必须是较高清的物体,比如上面的汽车和猫猫就都是明确的物体,如果ip-image是一幅画的话,那就是风格转换或者背景替换了。

参数范围 ⚠️

下面是平时使用ip-adapter时,觉得比较适合的参数范围,仅供大家参考~

  • strength-重绘幅度: 0.5-0.7之间

  • scale-ip_adapter的影响因子:0.7~0.9之间

  • num_inference_steps:20-30即可

一些官方效果

ip-adapter可以结合diffusers库的各种pipeline使用, 代码链接如下~

github.com/tencent-ail...

image variation

img2img

inpainting

模型 🧀

模型在huggingface.co/h94/IP-Adap... 下载,主要包括基于sdv1_5和sdxl的模型

vae模型下载链接: huggingface.co/stabilityai...

下面这篇文章介绍了ip-adapter不同模型的作用,可供大家选择参考~

blog.csdn.net/JuMengXiaoK...

上面介绍ip-adapter的效果,下面我们就来浅浅地解析一下ip-adapter的技术原理~

ip-adapter的技术框架

其实ip-adapter就是将文本特征和图像特征通过decouple cross attention合并在一起,再将decouple cross attention的特征跟潜在表示z做注意力机制,与stable diffusion的cross attention机制类似。

我们先来复习一下stable diffusion中,文本是如何做引导的:

可以从图中看到,文本特征与隐变量z实施交叉注意力机制,实现了信息的精密融合与注入,输入文本的交叉注意力计算公式为:

对于图像特征,使用CLIP提取,再将图像特征映射到跟文本特征一样的维度,输入图片的交叉注意力计算公式为:

最后将计算得到的注意力分数相加,注入unet的transformers 模块中。

这种将文本注意力和图片注意力分开直接相加的方法,在论文里也被称作解耦交叉注意力机制:

运行代码,打印unet的代码结构,我们可以看到每一层cross attention都被注入了IPAttnProcessor模块,IPAttnProcessor实现了decouple cross attention机制

js 复制代码
 (0): CrossAttnDownBlock2D(
      (attentions): ModuleList(
        (0): Transformer2DModel(
          (norm): GroupNorm(32, 320, eps=1e-06, affine=True)
          (proj_in): Conv2d(320, 320, kernel_size=(1, 1), stride=(1, 1))
          (transformer_blocks): ModuleList(
            (0): BasicTransformerBlock(
              (norm1): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn1): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=320, out_features=320, bias=False)
                (to_v): Linear(in_features=320, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): AttnProcessor() 
              )
              (norm2): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn2): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=768, out_features=320, bias=False)
                (to_v): Linear(in_features=768, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): IPAttnProcessor(
                  (to_k_ip): Linear(in_features=768, out_features=320, bias=False)
                  (to_v_ip): Linear(in_features=768, out_features=320, bias=False)
                )
              )

所以IP-Adapter的原理就是如此简单,其实就是将图片也作为prompt来引导生图过程了~

结尾 🦋

今天我们介绍了使用IP-Adapter为造型设计提供灵感的方法,也简单解释了一下IP-Adapter的原理~下次的文章将会介绍更多diffusion风格转换的方法,敬请期待哦

相关推荐
一条数据库4 分钟前
AI生成文本检测数据集:基于不平衡数据集(人类94% vs AI 6%)的高效机器学习模型训练,涵盖ChatGPT、Gemini等LLM生成内容
人工智能
山烛29 分钟前
OpenCV:图像直方图
人工智能·opencv·计算机视觉·图像直方图
摘星编程30 分钟前
AI 帮我写单测:pytest 覆盖率提升 40% 的协作日志
人工智能·pytest·测试驱动开发·代码覆盖率·ai协作开发
荼蘼38 分钟前
OpenCV 发票识别全流程:透视变换与轮廓检测详解
人工智能·opencv·计算机视觉
☼←安于亥时→❦1 小时前
PyTorch 梯度与微积分
人工智能·pytorch·python
mahuifa2 小时前
OpenCV 开发 -- 图像阈值处理
人工智能·opencv·计算机视觉
闲人编程2 小时前
图像去雾算法:从物理模型到深度学习实现
图像处理·人工智能·python·深度学习·算法·计算机视觉·去雾
咔咔学姐kk2 小时前
大模型微调技术宝典:Transformer架构,从小白到专家
人工智能·深度学习·学习·算法·transformer
Caaacy_YU3 小时前
多模态大模型研究每日简报【2025-09-10】
论文阅读·人工智能·深度学习·机器学习·计算机视觉
云边云科技3 小时前
门店网络重构:告别“打补丁”,用“云网融合”重塑数字竞争力!
大数据·人工智能·安全·智能路由器·零售