生成对抗网络(GAN)

1️⃣ gan介绍

GAN包括一个生成器和一个判别器

生成器:

  • 输入是n维度的向量
  • 输出是图片像素大小的图片
    判别器:
  • 输入是图片
  • 输出是图片的真伪标签

2️⃣ GAN原理分析

GAN的大致训练过程为:

先训练判别器(固定生成器)

  • 从真实数据集中采样,x∼pdata(x)x \sim p_{data}(x)x∼pdata(x)
  • 从噪声分布采样,z∼pz(z)z \sim p_z(z)z∼pz(z)
  • 生成假样本,xg=G(z)x_g = G(z)xg=G(z)
  • 用真实和生成样本训练判别器,损失函数在下面介绍

再训练生成器(固定判别器)

  • 采样噪声,z∼pz(z)z \sim p_z(z)z∼pz(z)
  • 生成样本,xg=G(z)x_g = G(z)xg=G(z)
  • 通过判别器计算,D(G(z))D(G(z))D(G(z))
  • 使用损失函函数更新生成器参数

接下来看一下具体的损失函数可简化为:
min⁡Gmax⁡DV(D,G)=Ex∼pdata(x)log⁡D(x)+Ez∼pz(z)log⁡(1−D(G(z)))\min_G \max_D V(D,G) = \mathbb{E}{x \sim p{data}(x)}\\log D(x) + \mathbb{E}_{z \sim p_z(z)}\\log(1 - D(G(z)))GminDmaxV(D,G)=Ex∼pdata(x)logD(x)+Ez∼pz(z)log(1−D(G(z)))

其中:

  • pdata(x)p_{data}(x)pdata(x) 是真实数据的分布,x 是真实样本;
  • pz(z)p_z(z)pz(z) 是随机噪声(如高斯分布)的分布,z 是噪声输入,G(z)G(z)G(z) 是生成器输出的 "假样本";
  • D(x)D(x)D(x) 表示判别器判定 "真实样本x为真" 的概率,D(G(z))D(G(z))D(G(z))是判别器判定 "假样本G(z)为真" 的概率

原论文在参数的更新过程,是对D更新k次后,才对G更新1次。上式中的minmax可理解为当更新D时,需要最大化上式,而当更新G时,需要最小化上式,详细解释如下:

(1)更新判别器D

在对判别模型D的参数进行更新时,固定G的参数。目标是能够区分出来真实图片和生成的图片。对于真实数据,希望D(x)D(x)D(x)接近1;对假数据,希望D(G(z))D(G(z))D(G(z))接近0。为了实现这一目标,损失函数需要最大化上式:

  • 第一部分:Ex∼pdata(x)log⁡D(x)\mathbb{E}{x \sim p{\text{data}}(x)}\\log D(x)Ex∼pdata(x)logD(x)

    最大化第一部分就是让log⁡D(x)\log D(x)logD(x)尽可能的大,即希望判别器的输出结果D(x)D(x)D(x) 接近 1,符合判别器的目标

  • 第二部分:Ez∼pz(z)log⁡(1−D(G(z)))\mathbb{E}_{z \sim p_z(z)}\\log(1 - D(G(z)))Ez∼pz(z)log(1−D(G(z)))

    最大化第二部分,就是让log⁡(1−D(G(z)))\log(1 - D(G(z)))log(1−D(G(z)))尽可能的大,即希望1−D(G(z))1 - D(G(z))1−D(G(z))尽可能的大,即希望D(G(z))D(G(z))D(G(z))尽可能的小,符合判别器的目标。

(2)更新生成器G

此时 D 已优化为 "当前最优判别器",G 的目标是 "生成更逼真的假数据欺骗 D",D(G(z))D(G(z))D(G(z))接近 1,对应 "最小化 V(D,G)V(D,G)V(D,G)" ------ 但需注意:
V(D,G)V(D,G)V(D,G) 中的第一部分 Ex∼pdata(x)log⁡D(x)\mathbb{E}{x \sim p{\text{data}}(x)}\\log D(x)Ex∼pdata(x)logD(x)与G无关(G 不影响真实数据),优化时可视为常数,因此 G 只需最小化第二部分的 "负项":

  • 原目标中 G 需最小化的部分等价于:
    min⁡GEz∼pz(z)log⁡(1−D(G(z)))\min_G \mathbb{E}_{z \sim p_z(z)}\\log(1 - D(G(z)))minGEz∼pz(z)log(1−D(G(z)))

    最小化这一部分, 即让log⁡(1−D(G(z)))\log(1 - D(G(z)))log(1−D(G(z)))越小越好,即1−D(G(z))1 - D(G(z))1−D(G(z))接近 0,即D(G(z))D(G(z))D(G(z))接近 1(让 D 误以为假数据是真实的),符合生成器的目标

(3)minmax 的最终收敛目标

当 G 和 D 经过多轮对抗训练后,会达到纳什均衡(Nash Equilibrium)------ 此时:

  • D 无法再提升判别能力:对真实数据和 G 生成的假数据,D 的输出均为 0.50.50.5 (完全无法区分),即 D(x)=D(G(z))=0.5D(x) = D(G(z)) = 0.5D(x)=D(G(z))=0.5。
  • G 无法再提升生成能力:生成数据的分布 pg(x)p_g(x)pg(x) 完全匹配真实数据的分布 pdata(x)p_{\text{data}}(x)pdata(x),即 pg(x)=pdata(x)p_g(x) = p_{\text{data}}(x)pg(x)=pdata(x)。

此时目标函数 V(D,G)V(D,G)V(D,G) 达到 "G 最小化、D 最大化" 的稳定状态,minmax 优化完成 ------ GAN 的核心目标(获得能生成逼真数据的 G)也就实现了


相关推荐
罗西的思考6 小时前
【轻量化复现大模型 / KIMI K3】训练模块梳理 & Muon P2P 优化器
人工智能·深度学习·机器学习
伞伞悦读8 小时前
【第90期】KNN分类回归流水线与K值对照的实验与排查
大数据·人工智能·python·深度学习·机器学习
会飞锦鲤8 小时前
基于 RT-DETR 的 PCB 缺陷检测
深度学习·目标检测·计算机视觉·pyqt5·rt-detr·工业质检·pcb缺陷检测
塑料铲子1 天前
你的 Skill 越多越蠢?Token 上下文爆炸的求生指南
机器学习·agent
TsingtaoAI1 天前
VeyForge:构建具身智能的AI 3D资产与Sim-to-Real数据引擎
人工智能·机器学习
高洁011 天前
世界模型的因果内核:从预测表象到理解机制
人工智能·python·深度学习·transformer·迁移学习
意念回复2 天前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
哈尔滨张谦蛋2 天前
兰州大学 · 甘肃省可穿戴装备重点实验室 · 2027年博士招生
人工智能·深度学习
chh5633 天前
从 BERT 到大模型:让模型从“会接龙”到“会回答
人工智能·深度学习·bert