IP-Adapter学习

参考:https://baijiahao.baidu.com/s?id=1803373544569190578\&wfr=spider\&for=pc

IP-Adapter 是 SD中比较重要的controlnet,由腾讯公司出品。主要原理:提取图像特征,并嵌入预训练文本,最终加入到扩散图像中。简单理解,提取图像的特征:构图特征、面部特征,根据权重参数与原prompt进行融合,共同作用到扩散图像上。

以下面这张图举例:

从条件图中提取特征,包括前景、背景结构,任务特征等。

简单案例:https://blog.csdn.net/qq_41314882/article/details/140517620

其中也有讲述InstanID的内容,结论:在面部处理上InstantID 优于 IP-Adapter

相关文档:https://baijiahao.baidu.com/s?id=1806079149555811709\&wfr=spider\&for=pc

相关推荐
全栈探索者15 小时前
一枚 162MB 的挂件,改写一只猫的画风:LoRA 实战——风格定制与人脸保持
人工智能·macos·lora·aigc·stablediffusion·comfyui
又过二十2 天前
Qwen-Image2.1游戏素材工坊:把整套素材拼成"模拟游戏画面"逐张体检 (二)
aigc·comfyui·game·qwen-image·游戏素材
Daneas3 天前
10分钟搭建ComfyUI Z-image-turbo参考骨架图和人脸生图
comfyui·提示词生成·z-image-turbo生图·3060显卡生图效果
全栈探索者3 天前
出图模型怎么选?同一只猫的四场实测:Z-Image、Qwen-Image 2.1、SD1.5 三维对决
人工智能·macos·aigc·stablediffusion·comfyui
又过二十3 天前
Qwen-Image2.1游戏素材工坊:一句话,生成一整套游戏美术素材(一)
ai·aigc·comfyui·game·qwen-image·游戏素材
全栈探索者4 天前
模型去哪下、放哪里、怎么选:Mac 玩 ComfyUI 的模型管理全图景(附我的实盘清单)
人工智能·macos·aigc·stablediffusion·comfyui
MarkHD7 天前
第24-26天:Embeddings(文本嵌入)—— ComfyUI 里最“轻”也最容易被误解的微调模块
comfyui
Sayai12 天前
ComfyUI+混元视频实战:12G 显存跑 13G 模型,5 分钟出片(国产开源,附模型与工作流)
人工智能·aigc·音视频·comfyui·hunyuanvideo·混元视频
Sayai13 天前
ComfyUI+Flux ControlNet 实战:一张图拆线稿和深度图,双模型重构画面(12G 显存实测,附模型与工作流)
人工智能·重构·aigc·flux·controlnet·comfyui
Sayai13 天前
ComfyUI+MiniMax H3 文生视频实测:12G 显存跑 21G 模型,5 分钟出片自带音效(附模型与工作流)
人工智能·aigc·音视频·文生视频·comfyui·minimax