Imagic: Text-Based Real Image Editing with Diffusion Models

  1. 问题引入
  • 针对的是text based image editing问题,可以解决non rigid edit,即可以改变图片中object的posture;
  • 模型仅需要原图以及编辑的text,不需要mask,也是在T2I diffusion model上实现的;
  • 首先optimize text embedding,之后使用优化后的text embedding来微调整个模型,最后将优化之后的text embedding和目标text的embedding进行插值得到一个结合原图以及编辑prompt的embedding,然后进行生成得到想要的结果;
  1. methods
  • Text embedding optimization:首先获取到编辑后text的embedding e t g t e_{tgt} etgt,之后只是训练embedding部分,冻结diffusion model主体,训练很少的步数,以使得优化之后的embedding e o p t e_{opt} eopt没有发生很大的变化,便于第三步的插值操作;
  • Model fine-tuning:因为第一步只训练了很少的步数,所以生成的图片不能和原图完全一致,所以进行了全模型的训练(优化之后的embedding冻结),此时使用的是 e o p t e_{opt} eopt,但是在finetune后接的超分模型的时候使用的是 e t g t e_{tgt} etgt;
  • Text embedding interpolation:进行 e t g t , e o p t e_{tgt},e_{opt} etgt,eopt之间的插值: e ‾ = η ⋅ e t g t + ( 1 − η ) ⋅ e o p t \overline{e} = \eta\cdot e_{tgt} + (1 - \eta)\cdot e_{opt} e=η⋅etgt+(1−η)⋅eopt,以这个作为最后的embedding来生成,后接的超分模型还是使用 e t g t e_{tgt} etgt
相关推荐
shangyingying_17 小时前
关于小波降噪、小波增强、小波去雾的原理区分
人工智能·深度学习·计算机视觉
书玮嘎8 小时前
【WIP】【VLA&VLM——InternVL系列】
人工智能·深度学习
要努力啊啊啊9 小时前
YOLOv2 正负样本分配机制详解
人工智能·深度学习·yolo·计算机视觉·目标跟踪
Blossom.11810 小时前
机器学习在智能建筑中的应用:能源管理与环境优化
人工智能·python·深度学习·神经网络·机器学习·机器人·sklearn
m0_6786933311 小时前
深度学习笔记29-RNN实现阿尔茨海默病诊断(Pytorch)
笔记·rnn·深度学习
胡耀超11 小时前
标签体系设计与管理:从理论基础到智能化实践的综合指南
人工智能·python·深度学习·数据挖掘·大模型·用户画像·语义分析
fzyz12313 小时前
Windows系统下WSL从C盘迁移方案
人工智能·windows·深度学习·wsl
FF-Studio15 小时前
【硬核数学 · LLM篇】3.1 Transformer之心:自注意力机制的线性代数解构《从零构建机器学习、深度学习到LLM的数学认知》
人工智能·pytorch·深度学习·线性代数·机器学习·数学建模·transformer
云渚钓月梦未杳15 小时前
深度学习03 人工神经网络ANN
人工智能·深度学习
贾全16 小时前
第十章:HIL-SERL 真实机器人训练实战
人工智能·深度学习·算法·机器学习·机器人