Prompt-to-Prompt Image Editing with Cross Attention Control

  1. 问题引入
  • 通过manipulate cross attn map的方式来实现图片编辑的任务;
  1. methods
  • 编辑前后的图片以及prompt I , I ∗ , P , P ∗ I,I^*,P,P^* I,I∗,P,P∗,在cross attn中,pixel feature ϕ ( z t ) \phi(z_t) ϕ(zt)得到 Q = l Q ( ϕ ( z t ) ) Q = l_Q(\phi(z_t)) Q=lQ(ϕ(zt)), K = l K ( ψ ( P ) ) , v = l V ( ψ ( P ) ) K = l_K(\psi(P)),v = l_V(\psi(P)) K=lK(ψ(P)),v=lV(ψ(P)),得到atten map M M M,其中 M i j M_{ij} Mij表示的是 j − t h j-th j−th的token和pixel i i i之间的关系;
  • 编辑的算法如下:
  • 其中 E d i t ( M t , M t ∗ , t ) Edit(M_t,M_t^*,t) Edit(Mt,Mt∗,t)根据任务不同定义如下:
  • word swap:
  • Adding a New Phrase:
  • Attention Re--weighting:
相关推荐
何双新4 小时前
L3-3、从单轮到链式任务:设计协作型 Prompt 系统
服务器·搜索引擎·prompt
RockLiu@8051 天前
大模型技术全景解析:从基础架构到Prompt工程
语言模型·prompt
带娃的IT创业者2 天前
《AI大模型应知应会100篇》第35篇:Prompt链式调用:解决复杂问题的策略
android·人工智能·prompt
何双新3 天前
L1-5、Prompt 写作中的常见误区
人工智能·prompt
何双新3 天前
L1-7、Prompt 的“调试技巧”
人工智能·prompt
何双新3 天前
L1-4、如何写出清晰有目标的 Prompt
大数据·人工智能·prompt
何双新3 天前
L2-2、示范教学与角色扮演:激发模型“模仿力“与“人格“
人工智能·prompt
风雨中的小七3 天前
解密prompt系列53. 再谈大模型Memory
prompt
何双新4 天前
L1-1、Prompt 是什么?为什么它能“控制 AI”?
人工智能·prompt
chenchihwen4 天前
用Prompt 技术【提示词】打造自己的大语言智能体
人工智能·prompt