Prompt-to-Prompt Image Editing with Cross Attention Control

  1. 问题引入
  • 通过manipulate cross attn map的方式来实现图片编辑的任务;
  1. methods
  • 编辑前后的图片以及prompt I , I ∗ , P , P ∗ I,I^*,P,P^* I,I∗,P,P∗,在cross attn中,pixel feature ϕ ( z t ) \phi(z_t) ϕ(zt)得到 Q = l Q ( ϕ ( z t ) ) Q = l_Q(\phi(z_t)) Q=lQ(ϕ(zt)), K = l K ( ψ ( P ) ) , v = l V ( ψ ( P ) ) K = l_K(\psi(P)),v = l_V(\psi(P)) K=lK(ψ(P)),v=lV(ψ(P)),得到atten map M M M,其中 M i j M_{ij} Mij表示的是 j − t h j-th j−th的token和pixel i i i之间的关系;
  • 编辑的算法如下:
  • 其中 E d i t ( M t , M t ∗ , t ) Edit(M_t,M_t^*,t) Edit(Mt,Mt∗,t)根据任务不同定义如下:
  • word swap:
  • Adding a New Phrase:
  • Attention Re--weighting:
相关推荐
Java后端的Ai之路2 天前
Java并发编程22-Lock接口
java·人工智能·prompt·lock
XLYcmy2 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 上
llm·prompt·模糊测试·漏洞修复·漏洞检测·deepseek·消融实验
XLYcmy3 天前
基于大语言模型的智能漏洞检测与修复系统 作品报告评审分析报告 下
机器学习·llm·prompt·api·token·漏洞修复·漏洞检测
forest_093 天前
多 Agent 协作第二课:交叉验证≠独立验证
人工智能·python·算法·机器学习·prompt·agi
syso_稻草人4 天前
qwen-image-2.1 PE 增强编辑:QwenImage21_EditPromptRewrite 一句话中文扩写成完整编辑指令
人工智能·stable diffusion·prompt·comfyui·qwen-image2.1
zixu_star6 天前
上下文工程:Prompt、记忆和上下文如何管理?
人工智能·prompt
一起学安全技术7 天前
拆大模型 06|Prompt 工程不靠玄学:上下文要当程序写
人工智能·语言模型·prompt·aigc
Java后端的Ai之路8 天前
RAG 还是 Agent 自主检索?Claude Code 删掉向量库之后,我把选型讲透了
开发语言·人工智能·prompt·agent·rag
叼烟扛炮10 天前
[LangChain] 学习笔记(05):提示词模板(Prompt)与少样本注入(Few-Shot)实战
linux·人工智能·笔记·学习·langchain·prompt