[PyTorch][chapter 55][WGAN]

前言:

前面讲到GAN 在训练生成器的时候,如果当前的Pr 和 Pg 的分布不重叠场景下:

JS散度为一个固定值,梯度为0,导致无法更新生成器G

WGAN的全称是WassersteinGAN,它提出了用Wasserstein距离(也称EM距离)去取代JS距离,这样能更好的衡量两个分布之间的divergence。


目录:

  1. GAN 数据分布问题
  2. GAN JS 散度问题
  3. EM 距离
  4. WGAN
  5. WGAN-GP
  6. 伪代码分析

一 GAN 数据分布问题

在大部分场景 : 分布不重叠

原因1 :数据空间的维度

如下图

在低维空间是个有重叠的流形 ,

在高维空间展开就是不重叠的 线或者平面

图片可以认为是高维的空间

原因2: 采样

我们生成器 和真实的数据 虽然有重叠

但是实际采样的时候,生成的图片和真实图片分布

不一定重叠,如下


二 GAN JS 散度问题

2.1 JS 散度问题

前面讲过, 和 生成器生成的分布

不重叠的时候,JS 散度为常数 log2, 此刻梯度为0.

导致生成器无法更新。

因为生成器G很弱,制作出来的数据很假,鉴别器D 很容易

鉴别出,导致鉴别器D也无法更新。

2.2 Least Square Gan

针对JS 散度为常数问题,梯度为0,早期提出了用linear 替代

sigmoid 来分类,解决该问题。


三 EM 距离

WGAN 里面采用了EM 距离。

3.1 简介

Wasserstein 距离又叫Earth-Mover(EM)距离,又叫推土机距离。

如下图1维空间里面两个分布,P,Q,如果把P 移动到Q,则需要d步。

把P 分布变成Q 分布,有不同的铲土方案.

穷举所有的可能方案,其中铲土距离最小的,称为Wasserstein 距离。

3.2 EM 距离矩阵表示

如下图,把分布P 移动到分布Q.

有不同的移动的方案,每一种方案称为r.

矩阵里面每个元素的值 代表移动的土量。

用不同颜色表示,颜色越深值越大。

P 上每个位置的值: 等于矩阵当前行的值,

Q 上每个位置的值 : 等于矩阵当前列的值

3.2 EM 距离的优势

如下图:

JS 散度: 都是一样 log2,无法分辨出 哪个生成器更好

EM 距离: 距离更小,通过训练,可以把 训练成

KL散度和JS散度是突变的,要么最大要么最小,Wasserstein距离却是平滑的,如果我们要用梯度下降法优化这个参数,前两者根本提供不了梯度,Wasserstein距离却可以。

在高维空间中如果两个分布不重叠或者重叠部分可忽略,则KL和JS既反映不了远近,也提供不了梯度,但是Wasserstein却可以提供有意义的梯度


四 WGAN

4.1 优化目标:

GAN 里面 wassertein 距离度量方法如下:

针对鉴别器我们期望:

越大越好

越小越好

4.2 问题:

对D(x)没有约束的时候,,会导致训练的时候,无法收敛。

4.3 解决方案

加入了Lipschitz 约束,要 变化不是很大,在一个约束范围内,该约束条件称为

Lipschitz。

Lipschitz 定义

WGAN 里面,f 相当于 D, 相当于 sample出来的样本

当k =1 ,称为1-Lipschitz。如下图的红线符合1-Lipschitz,

绿线不符合 1-Lipschitz 条件

4.4 Weight Clip

早期解决方案:

当w >c, w=c

当 w<-c, w=-c

约束参数的变化,但是并不能满足1-Lipschitz,只是发现实际工程效果比较好


五 WGAN-GP

前面讲过1-Lipschitz

等价于在每个位置

5.1 优化目标

增加了Penalty 项

问题

没办法计算,所有可能的x 进行积分

5.2 解决方案

假设 x 是从 里面采样出来的

5.3 penalty 采样

, 两点相连接,在连接线上随机采样一个点,称为penalty中的x

在每个位置强制的Lipschitz条件是不可能的,通过Penalty 机制,在蓝色的区域进行

满足Lipschitz,实验上效果也很好

5.4 penalty 方案2

如下图,也可以用绿色的代表penalty,即使Norm 小于1 也进行Penalty,

有点类似SVM 思想,强制要求在-1,1 超平面上。

5.5 Spectrum Norm

在每个地方都满足gradient <1


六 GAN伪代码分析

6.1 训练鉴别器D,训练K次

6.2 训练生成器G


七 WGAN 伪代码

4处不一样

7.1 训练D

注意要使用Weight Clipping or Gradient Penalty

7.2 训练G

注意训练D的时候要使用Weight Clipping or Gradient Penalty

参考:

课时130 WGAN-GP实战_哔哩哔哩_bilibili

什么是利普希茨条件? - 知乎

https://www.cnblogs.com/breadcake/p/16861792.html

令人拍案叫绝的Wasserstein GAN - 知乎

WGAN 李-哔哩哔哩_Bilibili

GAN Lecture 6 (2018): WGAN, EBGAN_哔哩哔哩_bilibili

相关推荐
飞睿科技6 分钟前
乐鑫代理商飞睿科技,2025年AI智能语音助手市场发展趋势与乐鑫芯片解决方案分析
人工智能
许泽宇的技术分享7 分钟前
从新闻到知识图谱:用大模型和知识工程“八步成诗”打造科技并购大脑
人工智能·科技·知识图谱
坤坤爱学习2.021 分钟前
求医十年,病因不明,ChatGPT:你看起来有基因突变
人工智能·ai·chatgpt·程序员·大模型·ai编程·大模型学
蹦蹦跳跳真可爱5891 小时前
Python----循环神经网络(Transformer ----注意力机制)
人工智能·深度学习·nlp·transformer·循环神经网络
空中湖3 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
lishaoan773 小时前
使用tensorflow的线性回归的例子(七)
人工智能·tensorflow·线性回归
千宇宙航6 小时前
闲庭信步使用SV搭建图像测试平台:第三十一课——基于神经网络的手写数字识别
图像处理·人工智能·深度学习·神经网络·计算机视觉·fpga开发
IT古董6 小时前
【第二章:机器学习与神经网络概述】04.回归算法理论与实践 -(4)模型评价与调整(Model Evaluation & Tuning)
神经网络·机器学习·回归
onceco7 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化
jndingxin9 小时前
OpenCV CUDA模块设备层-----高效地计算两个 uint 类型值的带权重平均值
人工智能·opencv·计算机视觉