IP-Adapter学习

参考:https://baijiahao.baidu.com/s?id=1803373544569190578\&wfr=spider\&for=pc

IP-Adapter 是 SD中比较重要的controlnet,由腾讯公司出品。主要原理:提取图像特征,并嵌入预训练文本,最终加入到扩散图像中。简单理解,提取图像的特征:构图特征、面部特征,根据权重参数与原prompt进行融合,共同作用到扩散图像上。

以下面这张图举例:

从条件图中提取特征,包括前景、背景结构,任务特征等。

简单案例:https://blog.csdn.net/qq_41314882/article/details/140517620

其中也有讲述InstanID的内容,结论:在面部处理上InstantID 优于 IP-Adapter

相关文档:https://baijiahao.baidu.com/s?id=1806079149555811709\&wfr=spider\&for=pc

相关推荐
love530love2 天前
升级到 ComfyUI Desktop v0.7.0 版本后启动日志报 KeyError: ‘tensorrt‘ 错误解决方案
开发语言·windows·python·pycharm·virtualenv·comfyui·comfyui desktop
伟大的大威3 天前
在 NVIDIA DGX Spark部署 Stable Diffusion 3.5 并使用ComfyUI
stable diffusion·spark·comfyui
Mr数据杨5 天前
【ComfyUI】Wan VACE 参考图一致性视频生成
comfyui
Mr数据杨6 天前
【ComfyUI】Z-Image + ControlNet 姿态搭配双LoRA图生图
comfyui
Mr数据杨6 天前
【ComfyUI】Z-Image + ControlNet 深度搭配姿态、条线引导图生图
comfyui
Mr数据杨7 天前
【ComfyUI】SD3.5 + ControlNet 边缘引导图生图
comfyui
Mr数据杨7 天前
【ComfyUI】Flux 完整版文生图
comfyui
Mr数据杨8 天前
【ComfyUI】Wan VACE 控制输入视频与参考图生成
comfyui
Mr数据杨8 天前
【ComfyUI】Wan2.2 Animate 动作迁移重绘视频生成
comfyui
fanruitian11 天前
Stable Diffusion 使用comfyUi
stablediffusion·comfyui