IP-Adapter学习

参考:https://baijiahao.baidu.com/s?id=1803373544569190578\&wfr=spider\&for=pc

IP-Adapter 是 SD中比较重要的controlnet,由腾讯公司出品。主要原理:提取图像特征,并嵌入预训练文本,最终加入到扩散图像中。简单理解,提取图像的特征:构图特征、面部特征,根据权重参数与原prompt进行融合,共同作用到扩散图像上。

以下面这张图举例:

从条件图中提取特征,包括前景、背景结构,任务特征等。

简单案例:https://blog.csdn.net/qq_41314882/article/details/140517620

其中也有讲述InstanID的内容,结论:在面部处理上InstantID 优于 IP-Adapter

相关文档:https://baijiahao.baidu.com/s?id=1806079149555811709\&wfr=spider\&for=pc

相关推荐
love530love9 天前
【ComfyUI】解决 ModuleNotFoundError: No module named ‘inference_core_nodes‘ 问题
人工智能·windows·python·comfyui·inference-core
福大大架构师每日一题10 天前
ComfyUI v0.14.2 发布:修复 Gemini/Nano banana 节点空白图像问题,全新 MIME 匹配机制登场
android·comfyui
学易10 天前
第二十节.探索新技术:如何自学SD3模型(上)(找官方资料/精读/下载/安装/3款工作流/效果测试)
人工智能·ai作画·stable diffusion·comfyui·工作流·sd3
AI资源库14 天前
BFS-Video 深度解析:从 LTX 架构剖析到 Agent 智能体集成实战
生成式ai·comfyui·lora微调·ltx-video·aigc应用·langchain实战·agent智能体开发
hhzz18 天前
【Vision人工智能设计 】ComfyUI 基础文生图设计
人工智能·comfyui·视觉大模型·wan
hhzz18 天前
【Vision人工智能设计 】ComfyUI 基础图生图设计
人工智能·flux·comfyui·视觉大模型·lora模型
爱知菜18 天前
Safetensors 扩散模型的结构解析(checkpoint & diffusers)
comfyui
雪碧聊技术20 天前
图生图与背后的运行逻辑
图生图·comfyui
爱知菜21 天前
ComfyUI秋叶整合包安装JoyCaption
comfyui
爱知菜21 天前
ComfyUI ControlNet 环境搭建备忘录
controlnet·comfyui