论文阅读-Null-text Inversion for Editing Real Images using Guided Diffusion Models

一、论文信息

作者团队:

论文链接:https://arxiv.org/pdf/2211.09794.pdf

代码链接:https://github.com/google/prompt-to-prompt

二、Conditional Diffusion(classifier-free guidance)

Classifier-free guidance方法训练:

对于有条件的训练集(如图文对数据集),以某个概率p将其中的某些条件置为空,然后进行训练。

实际生成:

三、DDIM Inversion

  • DDPM生成图像的反向去噪过程(由Xt 去预测Xt-1):

当随机噪声的系数=0,此时变为确定性采样过程,一旦初始的噪声XT确定了,样本的生成也就变为确定过程。

  • DDIM inversion:

DDIM的逆过程,即对于原图像进行加噪,最终得到一张噪声图。

将该噪声图作为采样起点进行去噪,最终又会生成原图像(即实现对原图像的重建过程)。这一整个过程常被用于图像编辑等任务。

四、Null-text Inversion

  • 动机

利用DDIM Inversion做图像重建或图像编辑任务时,直接做有条件的DDIM重建会导致误差累积,从而导致重建结果逐渐偏离原图像;

现有的图像编辑方法大多需要对模型进行微调,或对模型权重、内部结构等进行优化,操作起来比较复杂。

  • 本文方法:null-text inversion

首先对输入图像提取caption,然后在每个采样时间步t,都利用以下损失函数对null-text embedding进行优化

约束损失:

最终得到每个采样时间节点t所对应的优化后的null-text embedding,并实现对图像的重建。

利用DDIM Inversion得到的ZT和优化后的null-text embedding序列,可以实现有条件的图像编辑。

  • 实验结果

相关推荐
Eastmount2 天前
[论文阅读] (55)NDSS26 WebSpotter:Web攻击恶意载荷定位与可解释攻击检测
论文阅读·网络安全·攻击检测·ndss
天树星智源7 天前
记忆该记「赔率跳变」:机器人长时程十连任务,事件记忆 88.0%,删掉失败记录只剩 1.7%
论文阅读·人工智能·机器人
XLYcmy8 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告的建议和改进方向
论文阅读·论文笔记·token·commit·asr·论文分享·tokenizer
XLYcmy9 天前
ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足
论文阅读·论文笔记·token·cuda·asr·论文分享·tokenizer
feasibility.10 天前
LeCun团队世界模型JEPA首登无人机:9K参数模型,零样本Sim-to-Real飞入100Hz闭环
论文阅读·嵌入式·无人机·具身智能·世界模型·杨立昆·jpea
XLYcmy10 天前
ASR识别任务两篇论文阅读分析与系统方案技术报告 上
论文阅读·ai·gpu·asr·论文分享·speechbrain·wespeaker
Zucker n11 天前
文献发现、课题组织与证据可追溯的论文阅读。
论文阅读·windows·ubuntu
西柚小萌新11 天前
【论文阅读】--可信LLM智能体的威胁与对策 综述
论文阅读
Rocky Ding*11 天前
【三年面试五年模拟】2026-11-05_月之暗面大模型算法岗一面、二面面经全解析
论文阅读·人工智能·深度学习·机器学习·aigc·强化学习·ai-native
Rocky Ding*13 天前
REPA-E技术深度解析:解冻 VAE 之后,扩散模型为什么需要选择梯度
论文阅读·人工智能·深度学习·机器学习·aigc·ai-native·repa-e