Prompt-to-Prompt Image Editing with Cross Attention Control

• https://arxiv.org/pdf/2208.01626

1. 问题引入

• 通过manipulate cross attn map的方式来实现图片编辑的任务；

2. methods
   

• 编辑前后的图片以及prompt I , I ∗ , P , P ∗ I,I^*,P,P^* I,I∗,P,P∗，在cross attn中，pixel feature ϕ ( z t ) \phi(z_t) ϕ(zt)得到 Q = l Q ( ϕ ( z t ) ) Q = l_Q(\phi(z_t)) Q=lQ(ϕ(zt))， K = l K ( ψ ( P ) ) , v = l V ( ψ ( P ) ) K = l_K(\psi(P)),v = l_V(\psi(P)) K=lK(ψ(P)),v=lV(ψ(P))，得到atten map M M M，其中 M i j M_{ij} Mij表示的是 j − t h j-th j−th的token和pixel i i i之间的关系；
• 编辑的算法如下：
• 其中 E d i t ( M t , M t ∗ , t ) Edit(M_t,M_t^*,t) Edit(Mt,Mt∗,t)根据任务不同定义如下：
• word swap：
  
• Adding a New Phrase：
  
• Attention Re--weighting：