Prompt-to-Prompt Image Editing with Cross Attention Control

  1. 问题引入
  • 通过manipulate cross attn map的方式来实现图片编辑的任务;
  1. methods
  • 编辑前后的图片以及prompt I , I ∗ , P , P ∗ I,I^*,P,P^* I,I∗,P,P∗,在cross attn中,pixel feature ϕ ( z t ) \phi(z_t) ϕ(zt)得到 Q = l Q ( ϕ ( z t ) ) Q = l_Q(\phi(z_t)) Q=lQ(ϕ(zt)), K = l K ( ψ ( P ) ) , v = l V ( ψ ( P ) ) K = l_K(\psi(P)),v = l_V(\psi(P)) K=lK(ψ(P)),v=lV(ψ(P)),得到atten map M M M,其中 M i j M_{ij} Mij表示的是 j − t h j-th j−th的token和pixel i i i之间的关系;
  • 编辑的算法如下:
  • 其中 E d i t ( M t , M t ∗ , t ) Edit(M_t,M_t^*,t) Edit(Mt,Mt∗,t)根据任务不同定义如下:
  • word swap:
  • Adding a New Phrase:
  • Attention Re--weighting:
相关推荐
在下_诸葛18 小时前
DeepSeek的API调用 | 结合DeepSeek API文档 | Python环境 | 对话补全(二)
人工智能·python·gpt·prompt·aigc
姚瑞南2 天前
【Prompt实战】广告营销客服专家
人工智能·chatgpt·prompt·aigc
云梦之上2 天前
视觉风格提示词:Visual Style Prompting with Swapping Self-Attention(风格迁移)
pytorch·python·计算机视觉·ai作画·prompt
Golinie2 天前
使用Ollama+Langchaingo+Gin通过定义prompt模版实现翻译功能
llm·prompt·gin·langchaingo
L_cl3 天前
【NLP 49、提示工程 prompt engineering】
prompt
小猪皮蛋粥3 天前
VScode配置默认终端为Anaconda Prompt
ide·vscode·prompt
SanMu三木3 天前
LangChain 基础系列之 Prompt 工程详解:从设计原理到实战模板
langchain·prompt
三月七(爱看动漫的程序员)3 天前
TAPO: Task-Referenced Adaptation for Prompt Optimization
人工智能·gpt·机器学习·语言模型·自然语言处理·prompt·集成学习
放羊郎3 天前
本地文生图使用插件(Stable Diffusion)
stable diffusion·prompt·插件
早茶和猫4 天前
【YOLOE: Real-Time Seeing Anything】predict_visual_prompt.py视觉推理代码分析(检测版本)
yolo·目标检测·prompt·yoloe·视觉提示·开放检测