【GAN】数据增强基础知识

最近要用到，但是一点基础都没有，故开个文章记录一下笔记

目录

GAN

DCGAN

WGAN

EEGGAN

---

GAN

参考

生成对抗网络（GAN） - 知乎 (zhihu.com)

文章

1406.2661 Generative Adversarial Networks (arxiv.org)

代码

GitHub - yfeng95/GAN: Resources and Implementations of Generative Adversarial Nets: GAN, DCGAN, WGAN, CGAN, InfoGAN

GAN是属于机器学习中generative中的implicit model的一种。

Generative体现在：GAN并不能计算数据真实分布的公式，也就是不能计算概率，但它能根据学习到的数据真实分布来生成一个样本 。

implicit体现在：它的模型是通过网络层实现的，并不是一个确定的数学公式，好比高斯分布等。

VAE，GAN这些生成模型终极目标是模拟数据的真实分布，模拟的好坏自然得有个测距公式来计算：

• VAE里面是用KL divegence来计算两个分布的距离。
• GAN里面可以理解成是用Jessen-Shannon divegence来计算两个分布的距离。

我们常说GAN是一个min-max训练过程，所谓的max其实是对应着鉴别网络，目的是为了训练鉴别网络让其等同于最优JS divence的作用，然后在这个最优的测距网络下，min生成网络。

DCGAN

文章

arxiv.org/pdf/1511.06434.pdf

WGAN

参考

令人拍案叫绝的Wasserstein GAN - 知乎 (zhihu.com)

文章

1701.04862 Towards Principled Methods for Training Generative Adversarial Networks (arxiv.org)1701.07875 Wasserstein GAN (arxiv.org)

代码

GitHub - martinarjovsky/WassersteinGAN

现在要说到WS-GAN了，它的最大贡献是（个人观点）指出了KL,JS等这些测距工具都有一个缺点，那就是不连续性，意思就是两个分布的差距是跳跃的，不是连续的，这就导致训练鉴别网络时很不稳定，然后作者提出了WS divegence这个测距工具，WS算出来的两个分布的差距是连续的， 用它来代替鉴别网络（撤换掉sigmoid等），因为是连续，所以训练的时候你可以很清晰的看到鉴别网络的loss是逐步的减小，整个训练过程稳定下来了。

EEGGAN