学习目标:
实验
学习时间:
2024.2.17-2024.2.23
学习产出:
实验
1、根据stylegan2作者的回复,对比了tensorflow版本和ViTGAN的参数,重新修改了stylegan2的参数,目前正在跑。
2、根据DViTGAN的随机数种子,重新实验ViTGAN,进行定性实验。
3、lusn128的结果不理想,正在调参。
论文
根据审稿意见,大概看了一下审稿人提到的三篇Diffusion与Vision Transformer结合的论文。
Scalable Diffusion Models with Transformers:将U-Net替换为Vision Transformer,在潜空间中训练扩散模型
DiffiT: Diffusion Vision Transformers for Image Generation:将U-Net替换为一个u形编码器和解码器,引入时间依赖自注意力模块以便注意力层在去噪过程的不同阶段能够进行有效调整。
All are Worth Words: A ViT Backbone for Diffusion Models:设计一个通用的基于ViT的架构U-ViT,将时间、条件和噪声图像patch在内的所有输入作为标记,并在浅层和深层之间采用long skip connection。