目录
[(二)模式崩溃(Mode Collapse)](#(二)模式崩溃(Mode Collapse))
一、前言
在深度学习的发展过程中,有一类模型改变了"数据只能被动学习"的传统认知,它就是:
Generative Adversarial Network
GAN的出现,让模型具备了一个非常重要的能力:
不仅能理解数据,还能"创造数据"
例如:
-
生成逼真的人脸
-
生成艺术图像
-
图像修复
-
数据增强
-
风格迁移
GAN甚至被认为是:
深度学习中最"有创造力"的模型之一
二、GAN是什么
(一)基本定义
GAN是一种:
通过"生成器 + 判别器"相互博弈进行训练的生成模型
(二)核心思想
GAN的核心不是"单模型学习",而是:
两个模型互相对抗,推动彼此进步
(三)一句话理解
一个负责"造假",一个负责"鉴别真假"
三、GAN的核心结构
GAN由两个神经网络组成:
(一)生成器(Generator)
作用:
从随机噪声生成"假数据"
例如:
-
输入:随机向量 z
-
输出:生成图像
(二)判别器(Discriminator)
作用:
判断输入数据是真实的还是生成的
输出:
-
0:假数据
-
1:真实数据
(三)结构关系
随机噪声 z → 生成器 G → 假样本
真实样本 x → 判别器 D → 真伪判断
四、GAN的训练机制(对抗学习)
GAN的训练本质是一个"博弈过程"。
(一)训练目标
-
G:尽可能骗过D
-
D:尽可能识别G生成的假数据
(二)博弈关系
G不断变强 → D也必须变强
D变强 → G继续进化
(三)最终目标
达到纳什均衡:D无法区分真假
五、GAN的数学原理
GAN的经典目标函数如下:
\min_G \max_D V(D,G)=\mathbb{E}{x\sim p{data}}\\log D(x) + \mathbb{E}_{z\sim p_z}\\log(1-D(G(z)))
(一)公式含义
-
第一项:真实样本被判为真的概率
-
第二项:生成样本被判为假的概率
(二)生成器目标
让 D(G(z)) → 1
(三)判别器目标
最大化区分真实与生成样本的能力
六、GAN训练流程
(一)完整流程
1. 采样真实数据 x
2. 采样噪声 z
3. G生成假样本 G(z)
4. D判断真假
5. 更新D
6. 更新G
(二)训练循环
for each iteration:
train D
train G
七、GAN的核心问题
(一)训练不稳定
GAN最著名的问题:
loss震荡、不收敛
(二)模式崩溃(Mode Collapse)
G只生成少数几种样本
例如:
- 只生成同一张脸
(三)梯度消失
D过强时:
G无法学习
八、GAN的改进版本
(一)DCGAN
特点:
-
使用卷积网络
-
稳定性更好
(二)WGAN
核心改进:
使用Wasserstein距离替代JS散度
(三)WGAN-GP
加入梯度惩罚,提高稳定性
(四)LSGAN
使用最小二乘损失函数
九、GAN的应用场景
(一)图像生成
-
人脸生成
-
动漫生成
(二)图像增强
-
超分辨率
-
去噪
(三)图像修复
- 缺失区域补全(Inpainting)
(四)数据增强
小数据集 → GAN扩展数据
(五)风格迁移
- 照片转油画风格
十、GAN与其他生成模型对比
| 模型 | 特点 |
|---|---|
| GAN | 对抗训练 |
| VAE | 概率建模 |
| Diffusion | 逐步去噪生成 |
十一、GAN的核心思想总结
GAN本质上不是一个普通神经网络,而是一种:
"对抗式学习框架"
核心逻辑
生成器负责创造
判别器负责批判
在对抗中共同进化
十二、GAN结构总结图
z(随机噪声)
↓
Generator G
↓
Fake Data
↓
Discriminator D ← Real Data
↓
Real / Fake
十三、GAN优点
-
能生成高质量数据
-
无需标注数据
-
可用于数据增强
-
创造性强
十四、GAN缺点
-
训练不稳定
-
需要大量调参
-
易模式崩溃
-
对结构敏感
十五、GAN发展趋势
(一)与Transformer结合
- 更强生成能力
(二)与扩散模型竞争
- Diffusion逐渐成为主流
(三)多模态生成
-
文本 → 图像
-
图像 → 视频
十六、总结
GAN是深度学习中极具代表性的生成模型,它通过生成器与判别器之间的对抗训练机制,实现了从"数据理解"到"数据创造"的跨越。
本文系统讲解了:
1、GAN基本概念
2、生成器与判别器结构
3、对抗训练机制
4、数学原理
5、训练流程
6、常见问题
7、改进模型
8、应用场景
9、优缺点分析
10、发展方向
可以将GAN理解为:
"一个通过博弈不断进化的生成系统,是现代生成式AI的基础思想之一。"
掌握GAN,就掌握了"让模型学会创造"的第一性原理。