深度学习11--GAN进阶与变种

基础 GAN 存在的问题

在开始讲解变种之前,首先讲一下GAN 存在的问题。第一个问题就是判别器D太强了,损失都是0。假设判别器D能力强,G vl生成的图片与真实图片相差巨大,G v2生成的图片与真实图片相差不多,但是判别器都能完美地识别出所有的正负样本,这样就无法知道G v1更好还是G v2更好了。第二个问题就是生成多样性的问题,也称为Mode Collapse。

反卷积

去卷积、反卷积、上采样,都是一个概念,都是扩大特征图尺寸的,英文是 Deconvolution。

空洞卷积

空洞卷积就是扩张、膨胀之意。卷积核的大小,通常就意味 着感受野的大小,卷积核越大,感受野就越大,但是相应的计算量也会成倍地增加。

在WGAN 出现之前,如何解决Loss=0 的梯度消失问题呢?可以在真实图片和生成 图片上增加噪声,以试图增加两个分布的宽度,来让他们产生重叠。这里举一个极端的例 子,假设两个图片都加上百分之百的服从正态分布的噪声,那么这张图片不管原来如何,现在一定服从同一个分布。通过增加噪声,来强行拉近Pdata和Pg 的距离。然后随着训练的 进行,增加的正态分布的噪声的方差逐渐减小,以至于最后去掉噪声,这也是退火算法的一 种体现。这个方法仅仅解决了判别器过强导致的梯度消失问题,梯度不稳定和多样性问题依旧 没有办法解决,而这两个问题是由于KL 和 JS距离的性质导致的,所以WGAN 提出的办法 就是使用Wasserstein 距离代替JS 散度,实现质的优化。

那么如果想把GAN 改成WGAN, 那么如何操作呢?主要有4个部分:

(1)修改判别器D 的 Loss函数;

(2)修改生成器G 的 Loss函数;

(3)去掉判别器D 的最后一个Sigmoid 层;

(4)增加Weight Clipping。

太大了,会造成梯度爆炸问题,太小 了,会造成梯度消失问题。GP 项是对每一个样本都进行独立的梯度惩罚,因此需要保证每一个样本的独立性,所 以在模型中不能使用BN, 因为BN 层会让同一个 Batch 的不同样本之间产生关系。

VAE-GAN

(1)VAE 缺点:生成图像比GAN 模糊。

(2)GAN 缺点:模型坍塌 mode collapse和梯度消失。

生成器G 的 Loss 函数包含3个部分:

(1)生成图像应该更接近原始图像,而且生成的 mean 和logstd也应该满足标准分布;

(2)生成图像应该可以被Classifier 判断出对应的类别;

(3)生成图像应该可以被判别器D 判断成是真实的图像。

相关推荐
深度之眼2 分钟前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数19 分钟前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin23 分钟前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉
Sherlock Ma41 分钟前
PDFMathTranslate:基于LLM的PDF文档翻译及双语对照的工具【使用教程】
人工智能·pytorch·语言模型·pdf·大模型·机器翻译·deepseek
知舟不叙1 小时前
OpenCV中的SIFT特征提取
人工智能·opencv·计算机视觉
kadog1 小时前
PubMed PDF下载 cloudpmc-viewer-pow逆向
前端·javascript·人工智能·爬虫·pdf
亿坊电商2 小时前
AI数字人多模态技术如何提升用户体验?
人工智能·ux·ai数字人
不吃香菜?2 小时前
PyTorch 实现食物图像分类实战:从数据处理到模型训练
人工智能·深度学习
Jackilina_Stone2 小时前
【论文阅读】平滑量化:对大型语言模型进行准确高效的训练后量化
人工智能·llm·量化·论文阅读笔记
-曾牛3 小时前
企业级AI开发利器:Spring AI框架深度解析与实战
java·人工智能·python·spring·ai·rag·大模型应用