文章目录
- 深度生成模型之GAN基础
-
- 生成对抗网络
-
- [1. 生成对抗网络如何生成数据](#1. 生成对抗网络如何生成数据)
- [2. 生成对抗原理](#2. 生成对抗原理)
- [3. GAN的核心优化目标](#3. GAN的核心优化目标)
- [4. D的优化](#4. D的优化)
- [5. GAN的理想状态](#5. GAN的理想状态)
- [6. GAN的训练](#6. GAN的训练)
- [7. 梯度不稳定与模式崩塌(collapse mode)问题](#7. 梯度不稳定与模式崩塌(collapse mode)问题)
- [8. 梯度消失问题](#8. 梯度消失问题)
深度生成模型之GAN基础
生成对抗网络
1. 生成对抗网络如何生成数据
- 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数，但能生成符合数据分布P_data(x)的样本
2. 生成对抗原理
- 生成网络和判别网络相互对抗(adversarial),共同学习
3. GAN的核心优化目标
- 生成器损失与判别器损失
4. D的优化
- 判别器的优化目标
- 生成器优化目标
5. GAN的理想状态
- 约翰-纳什提出的纳什均衡(Nash equilibrium)
6. GAN的训练
- SGD交替优化，先更新k次判别器，保证判别网络足够强，再更新生成网络
7. 梯度不稳定与模式崩塌(collapse mode)问题
- 矛盾与不对称的优化目标
8. 梯度消失问题
- 过大过小的激活值，梯度进入消失区
- 部分内容来自阿里云天池