图像转换

深视7 个月前
论文阅读·扩散模型·图像转换
浅析扩散模型与图像生成【应用篇】(十三)——PITI该文提出一种基于预训练扩散模型的图像转换方法，称为PITI。其思想并不复杂，就是借鉴现有视觉和NLP领域中常见的预训练方法，考虑预先在一个大规模的任务无关数据集上对扩散模型进行预训练，使其具备一个高度语义化的空间。然后，再针对特定任务对模型进行微调训练，此时微调过程只需要关注与任务相关的输入信息，而困难的图像生成工作，比如渲染一个合理布局和真实的纹理，将根据预训练时得到的知识来完成。