DragDiffusion | 精准图像编辑

DragDiffusion: Harnessing Diffusion Models for Interactive Point-based Image Editing



Abstract

  • GAN泛化性能上界由其模型大小决定
  • 将基于点的图像编辑框架扩展到扩散模型
  • 目前,扩散模型图像编辑是通过文本嵌入实现,并非是精准的局部空间编辑
  • 虽然扩散模型是迭代式,但本模型通过只优化某一步的隐式变量即可实现高质量高效率的图像编辑

Contributions

  • 迭代的基于点的图像编辑框架应用到扩散模型中,从而实现精准空间编辑
  • DragGAN
  • Denoising diffusion probabilistic models (DDPM)
  • Denoising diffusion implicit models (DDIM)
  • DDIM inversion

Methodology

Overview

分为2步

  • (A)通过LoRA微调SD模型,数据集为用户输入的图像。
    • 目的是在编辑过程中(其实也是生成过程)更好的保留输入图像中物体和风格特征
  • (B)用户输入的图像作为Z0,通过DDIM Inversion得到第t步加噪声的隐变量Zt(注意,是小t,不是大T,也就是不是最终的标准高斯噪声,而是加噪的中间结果),在第t步通过Motion Supervision and Point Tracking------运动监督和轨迹跟踪 间接实现对图像点的拖拽得到Zt_hat, 在通过DDIM Denoising去噪生成编辑后的图像 (motion supervision 和 point tracking 是不断交替运行若干步的(论文中默认40步))
    • 在编辑过程中,需要增加正则项确保非编辑区域(编辑mask区域外)不变

Motion Supervision

  • the k-th iteration of motion supervision
  • 公式第一部分是对第t步的latent进行k次迭代实现点从起始位置运动到目标位置,注意是k次迭代,不是一步到位,采用的是梯度下降法(方向、步长),一次迭代只用一次梯度下降,不断迭代更新。
    • sg表示停止梯度stop gradient,即不会反向传播,因为最小化loss时候,采用bp,希望这一项不更新梯度
    • di是当前控制点朝着目标点的归一化方向
    • Fq+di是双线性插值得到的,不一定是整数
    • Ω(hk i , r1) = {(x, y) : |x - xk i | ≤ r1, |y - yik| ≤ r1} 是q的范围,矩形区域
  • 公式第二部分是对unmasked区域保持不变

Point Tracking

  • 因为运动监督更新了Ztk, 控制点的位置发生了变化,需要更新
  • 用Unet特征找控制点的匹配点,Unet倒数第二层的输出特征,即Unet.Decoder倒数第二个Stage的输出特征
  • 采用最近邻策略更新控制点

Experiments

Conclusions

  • 鸡肋,水文
  • DragDiffusion和DragGAN一样,都是通过对特征的点跟踪和运动特征监督进行
  • 注意,motion supervision 和 point tracking 是不断交替运行若干步的

References

相关推荐
2501_9387739932 分钟前
文档搜索引擎搜索模块迭代:从基础检索到智能语义匹配升级
人工智能·算法·搜索引擎
CS创新实验室41 分钟前
典型算法题解:长度最小的子数组
数据结构·c++·算法·考研408
我有一些感想……43 分钟前
浅谈 BSGS(Baby-Step Giant-Step 大步小步)算法
c++·算法·数论·离散对数·bsgs
麦麦大数据1 小时前
F042 A星算法课程推荐(A*算法) | 课程知识图谱|课程推荐vue+flask+neo4j B/S架构前后端分离|课程知识图谱构造
vue.js·算法·知识图谱·neo4j·a星算法·路径推荐·课程推荐
贝塔实验室1 小时前
LDPC 码的度分布
线性代数·算法·数学建模·fpga开发·硬件工程·信息与通信·信号处理
快手技术2 小时前
端到端短视频多目标排序机制框架 EMER 详解
算法
Wenhao.2 小时前
LeetCode LRU缓存
算法·leetcode·缓存·golang
京东零售技术2 小时前
告别 “盲买”!京东 AI 试穿 Oxygen Tryon:让服饰购物从“想象”到“所见即所得”
算法
小白菜又菜2 小时前
Leetcode 2273. Find Resultant Array After Removing Anagrams
算法·leetcode·职场和发展
milanyangbo2 小时前
谁生?谁死?从引用计数到可达性分析,洞悉GC的决策逻辑
java·服务器·开发语言·jvm·后端·算法·架构