深度生成模型之GAN基础 -＞（个人学习记录笔记）

文章目录

• 深度生成模型之GAN基础
• • 生成对抗网络
  • • [1. 生成对抗网络如何生成数据](#1. 生成对抗网络如何生成数据)
    • [2. 生成对抗原理](#2. 生成对抗原理)
    • [3. GAN的核心优化目标](#3. GAN的核心优化目标)
    • [4. D的优化](#4. D的优化)
    • [5. GAN的理想状态](#5. GAN的理想状态)
    • [6. GAN的训练](#6. GAN的训练)
    • [7. 梯度不稳定与模式崩塌(collapse mode)问题](#7. 梯度不稳定与模式崩塌(collapse mode)问题)
    • [8. 梯度消失问题](#8. 梯度消失问题)

深度生成模型之GAN基础

生成对抗网络

1. 生成对抗网络如何生成数据

• 生成对抗网络(Generative Adversarial Network,GAN),不显式地估计出数据分布的密度函数，但能生成符合数据分布P_data(x)的样本

2. 生成对抗原理

• 生成网络和判别网络相互对抗(adversarial),共同学习

3. GAN的核心优化目标

• 生成器损失与判别器损失

4. D的优化

• 判别器的优化目标

• 生成器优化目标

5. GAN的理想状态

• 约翰-纳什提出的纳什均衡(Nash equilibrium)

6. GAN的训练

• SGD交替优化，先更新k次判别器，保证判别网络足够强，再更新生成网络

7. 梯度不稳定与模式崩塌(collapse mode)问题

• 矛盾与不对称的优化目标

8. 梯度消失问题

• 过大过小的激活值，梯度进入消失区

• 部分内容来自阿里云天池