无需微调!IP-Adapater助力AIGC造型设计🧑‍🎨

ip-adapter是2023年由腾讯团队推出的用于文本到图像扩散模型的文本兼容图像提示适配器, 将图片作为提示prompt去引导stable diffusion生成图片。

平时我们用stable diffusion来生图,都要设计好精确的文本prompt来引导。但是一图胜千言,再好的文字描述也比不上一张参考图片中包含的丰富信息。

🤔对于我个人的使用体验来说,ip-adapter最惊喜的是能够无训练就快速进行风格转换(无需写提示词),而且生成的图片能够为造型设计带来不一样的灵感。

For Example......

🚗🐱汽车前脸+猫猫脸

🍎💓苹果+香水

💐🍃野兽派+Snoopy

一个可爱snoopy样式的花瓶~

使用ip-adapter进行造型设计 的关键就是参考图片和输入图片都必须是较高清的物体,比如上面的汽车和猫猫就都是明确的物体,如果ip-image是一幅画的话,那就是风格转换或者背景替换了。

参数范围 ⚠️

下面是平时使用ip-adapter时,觉得比较适合的参数范围,仅供大家参考~

  • strength-重绘幅度: 0.5-0.7之间

  • scale-ip_adapter的影响因子:0.7~0.9之间

  • num_inference_steps:20-30即可

一些官方效果

ip-adapter可以结合diffusers库的各种pipeline使用, 代码链接如下~

github.com/tencent-ail...

image variation

img2img

inpainting

模型 🧀

模型在huggingface.co/h94/IP-Adap... 下载,主要包括基于sdv1_5和sdxl的模型

vae模型下载链接: huggingface.co/stabilityai...

下面这篇文章介绍了ip-adapter不同模型的作用,可供大家选择参考~

blog.csdn.net/JuMengXiaoK...

上面介绍ip-adapter的效果,下面我们就来浅浅地解析一下ip-adapter的技术原理~

ip-adapter的技术框架

其实ip-adapter就是将文本特征和图像特征通过decouple cross attention合并在一起,再将decouple cross attention的特征跟潜在表示z做注意力机制,与stable diffusion的cross attention机制类似。

我们先来复习一下stable diffusion中,文本是如何做引导的:

可以从图中看到,文本特征与隐变量z实施交叉注意力机制,实现了信息的精密融合与注入,输入文本的交叉注意力计算公式为:

对于图像特征,使用CLIP提取,再将图像特征映射到跟文本特征一样的维度,输入图片的交叉注意力计算公式为:

最后将计算得到的注意力分数相加,注入unet的transformers 模块中。

这种将文本注意力和图片注意力分开直接相加的方法,在论文里也被称作解耦交叉注意力机制:

运行代码,打印unet的代码结构,我们可以看到每一层cross attention都被注入了IPAttnProcessor模块,IPAttnProcessor实现了decouple cross attention机制

js 复制代码
 (0): CrossAttnDownBlock2D(
      (attentions): ModuleList(
        (0): Transformer2DModel(
          (norm): GroupNorm(32, 320, eps=1e-06, affine=True)
          (proj_in): Conv2d(320, 320, kernel_size=(1, 1), stride=(1, 1))
          (transformer_blocks): ModuleList(
            (0): BasicTransformerBlock(
              (norm1): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn1): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=320, out_features=320, bias=False)
                (to_v): Linear(in_features=320, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): AttnProcessor() 
              )
              (norm2): LayerNorm((320,), eps=1e-05, elementwise_affine=True)
              (attn2): Attention(
                (to_q): Linear(in_features=320, out_features=320, bias=False)
                (to_k): Linear(in_features=768, out_features=320, bias=False)
                (to_v): Linear(in_features=768, out_features=320, bias=False)
                (to_out): ModuleList(
                  (0): Linear(in_features=320, out_features=320, bias=True)
                  (1): Dropout(p=0.0, inplace=False)
                )
                (processor): IPAttnProcessor(
                  (to_k_ip): Linear(in_features=768, out_features=320, bias=False)
                  (to_v_ip): Linear(in_features=768, out_features=320, bias=False)
                )
              )

所以IP-Adapter的原理就是如此简单,其实就是将图片也作为prompt来引导生图过程了~

结尾 🦋

今天我们介绍了使用IP-Adapter为造型设计提供灵感的方法,也简单解释了一下IP-Adapter的原理~下次的文章将会介绍更多diffusion风格转换的方法,敬请期待哦

相关推荐
玄魂14 分钟前
小红书/抖音图文排版利器——一个杂志风skill
人工智能·agent·视觉设计
写标小何44 分钟前
AI 标书工具技术架构解析:从文件解析到排版导出的工程实践
人工智能
敖老师1 小时前
DeepSeek Harness Web 版从装到用:dsh web 启动、接入本地 Ollama 全流程
人工智能
阿里云大数据AI技术1 小时前
DataWorks AI 数据生成:一条配置,量产多行业的仿真级业务数据
人工智能
QA老兵的AI实战手记1 小时前
别再用人工盯 AI 幻觉了:我手搓了一套带“代码审查拦截”的 AI 效能大屏(附源码)
人工智能
Nturmoils1 小时前
文件明明在本地,为什么自动验收仍说没交?我的 SoduWork 使用记录
aigc
火山引擎开发者社区1 小时前
APMPlus・看得见的 Agent(三) | Agent 说完成,结果却不对?APMPlus Agent 轨迹帮你查清执行过程
人工智能
羲云网络1 小时前
Claude Fable 5.2 创意编程分析:程序化生成、多智能体协作与工程验收
人工智能·大语言模型·blender·游戏开发
Linye1 小时前
HTML 流程图连线交叉看不清?聊聊画布避障折线与跳弧实现
前端·人工智能
weixin_469163692 小时前
金融租赁项目管理:维普时代以混合模型+AI实现管控与效率兼得
人工智能·金融