Prompt-to-Prompt Image Editing with Cross Attention Control

  1. 问题引入
  • 通过manipulate cross attn map的方式来实现图片编辑的任务;
  1. methods
  • 编辑前后的图片以及prompt I , I ∗ , P , P ∗ I,I^*,P,P^* I,I∗,P,P∗,在cross attn中,pixel feature ϕ ( z t ) \phi(z_t) ϕ(zt)得到 Q = l Q ( ϕ ( z t ) ) Q = l_Q(\phi(z_t)) Q=lQ(ϕ(zt)), K = l K ( ψ ( P ) ) , v = l V ( ψ ( P ) ) K = l_K(\psi(P)),v = l_V(\psi(P)) K=lK(ψ(P)),v=lV(ψ(P)),得到atten map M M M,其中 M i j M_{ij} Mij表示的是 j − t h j-th j−th的token和pixel i i i之间的关系;
  • 编辑的算法如下:
  • 其中 E d i t ( M t , M t ∗ , t ) Edit(M_t,M_t^*,t) Edit(Mt,Mt∗,t)根据任务不同定义如下:
  • word swap:
  • Adding a New Phrase:
  • Attention Re--weighting:
相关推荐
deckcode1 天前
大模型-爬虫prompt
语言模型·prompt·deepseek
a里啊里啊4 天前
AI提示词收集(持续更新)
ai·大模型·prompt·开发·提示词
姚瑞南4 天前
从模糊感知到量化评估:构建一个Prompt打分工具
人工智能·自然语言处理·chatgpt·prompt·aigc
猪猪的超超5 天前
从吉卜力漫画到艺术创造:GPT-4o多种风格绘图Prompt大全
人工智能·prompt·文生图·gpt-4o
带娃的IT创业者5 天前
《AI大模型应知应会100篇》第7篇:Prompt Engineering基础:如何与大模型有效沟通
人工智能·prompt
Moutai码农5 天前
大模型-提示词(Prompt)技巧
人工智能·语言模型·prompt
Moutai码农5 天前
大模型-提示词(Prompt)最佳实践
人工智能·语言模型·prompt
Psycho_MrZhang5 天前
PROMPT 速查
prompt
在下_诸葛6 天前
DeepSeek的API调用 | 结合DeepSeek API文档 | Python环境 | 对话补全(二)
人工智能·python·gpt·prompt·aigc
姚瑞南7 天前
【Prompt实战】广告营销客服专家
人工智能·chatgpt·prompt·aigc