扩散模型之（十六）像素空间生成模型

1.概述

隐空间扩散:如使用VAE把图像映射到隐空间,然后再进行扩散模型的训练与生成。以往的研究已经表明,

• VAE会引入一些伪影问题,并且VAE的重建质量决定了扩散模型生成质量的上限。
• 像素空间扩散:诸如先前JiT等等在像素空间的工作,通过修改预测目标,将原本预测向量场v改为预测原始图像xo,简化了目标,并显著提升了生成质量。然而,论文认为在像素空间中预测完整的图像流形仍然过于复杂的,因为其中包含大量感知上不显著的成分,例如传感器噪声和难以察觉的细节。

2. 像素空间

2.1 DiP

2.2 mean flow

2.3 pMF

2.4 PixelGen