IP-Adapter学习

参考:https://baijiahao.baidu.com/s?id=1803373544569190578\&wfr=spider\&for=pc

IP-Adapter 是 SD中比较重要的controlnet,由腾讯公司出品。主要原理:提取图像特征,并嵌入预训练文本,最终加入到扩散图像中。简单理解,提取图像的特征:构图特征、面部特征,根据权重参数与原prompt进行融合,共同作用到扩散图像上。

以下面这张图举例:

从条件图中提取特征,包括前景、背景结构,任务特征等。

简单案例:https://blog.csdn.net/qq_41314882/article/details/140517620

其中也有讲述InstanID的内容,结论:在面部处理上InstantID 优于 IP-Adapter

相关文档:https://baijiahao.baidu.com/s?id=1806079149555811709\&wfr=spider\&for=pc

相关推荐
Mr数据杨21 小时前
【ComfyUI】Wan2.2 CharacterMotion 单图角色关键词驱动视频生成
comfyui
喆星时瑜3 天前
关于 ComfyUI 的 Windows 本地部署系统环境教程(详细讲解Windows 10/11、NVIDIA GPU、Python、PyTorch环境等)
python·cuda·comfyui
Mr数据杨5 天前
【ComfyUI】Stable Zero123 单图生成3D视图
comfyui
Mr数据杨6 天前
【ComfyUI】通用 文生图转视频
comfyui
Mr数据杨6 天前
【ComfyUI】混元3D 2.0 Turbo 多视图生成模型
comfyui
Mr数据杨6 天前
【ComfyUI】Stable Audio 文本生成音频
comfyui
虎冯河14 天前
图像,视频Lora模型训练的Timestep Type时间步类型
aigc·comfyui·模型训练·1024程序员节
AI_Gump1 个月前
Qwen-image-edit在ComfyUI部署使用
人工智能·comfyui
Mr数据杨2 个月前
【ComfyUI】深度 ControlNet 深度信息引导生成
comfyui
Mr数据杨2 个月前
【ComfyUI】SDXL Turbo一步完成高速高效的图像生成
comfyui