IP-Adapter学习

参考:https://baijiahao.baidu.com/s?id=1803373544569190578\&wfr=spider\&for=pc

IP-Adapter 是 SD中比较重要的controlnet,由腾讯公司出品。主要原理:提取图像特征,并嵌入预训练文本,最终加入到扩散图像中。简单理解,提取图像的特征:构图特征、面部特征,根据权重参数与原prompt进行融合,共同作用到扩散图像上。

以下面这张图举例:

从条件图中提取特征,包括前景、背景结构,任务特征等。

简单案例:https://blog.csdn.net/qq_41314882/article/details/140517620

其中也有讲述InstanID的内容,结论:在面部处理上InstantID 优于 IP-Adapter

相关文档:https://baijiahao.baidu.com/s?id=1806079149555811709\&wfr=spider\&for=pc

相关推荐
HuggingFace10 天前
在 Hugging Face Spaces 上使用 Gradio 免费运行 ComfyUI 工作流
gradio·comfyui
打羽毛球吗️2 个月前
ComfyUI流程图生图原理详解
流程图·comfyui
打羽毛球吗️2 个月前
ComfyUI 安装教程:macOS 和 Linux 统一步骤
linux·macos·comfyui
曾小蛙2 个月前
【ComfyUI】python调用生图API,实现批量出图
图像生成·comfyui·comfyui-api
Bubbliiiing2 个月前
AIGC专栏18——EasyAnimateV5.1版本详解 应用Qwen2 VL作为文本编码器,支持轨迹控制与相机镜头控制
aigc·文生视频·comfyui·图生视频·easyanimate
暂时先用这个名字2 个月前
ComfyUI实现老照片修复——AI修复老照片(ComfyUI-ReActor / ReSwapper)解决天坑问题及加速pip下载
人工智能·ai·comfyui·ai作图·老照片修复·老照片·修复照片
zslefour3 个月前
apex安装
python·comfyui
zslefour3 个月前
在ComfyUI的python_embeded下编译安装module
python·comfyui
MavenTalk4 个月前
ComfyUI 与 Stable Diffusion WebUI 的优缺点比较
stable diffusion·ai绘画·comfyui·webui·ai助手
曾小蛙4 个月前
【ComfyUI+多视图生成】MV-Adapter:多视图一致性图片生成(2024.12.09基于SDXL开源)
sdxl·comfyui·mv-adapter·多视图生成