GAN初次阅读

研究背景

深度学习在判别式模型 (高维输入映射到类别标签,如图像分类)上取得巨大成功,核心依赖反向传播、Dropout 和分段线性激活函数;但生成式模型发展受限,原因是极大似然估计等方法涉及难以近似的概率计算,且难以在生成场景中利用分段线性激活函数的优势,本文提出的 GAN 框架解决了这一痛点。

特征维度 :回答的是「一个数据样本的属性 / 特征,需要几个数值描述? 」

想让模型学 "猫的图像分布",传统方法需要先算出「所有可能的猫图像的概率和(配分函数)」,但猫的图像有无数种(姿势、颜色、角度),根本算不出来;只能用 MCMC 反复采样 "近似猫的分布",但采样可能只停留在 "橘猫",学不会 "布偶猫",最终模型只能生成橘猫,丧失多样性。

核心框架

GAN 由**生成器(G)和 判别器(D)两个多层感知器(MLP)组成**

G:把无意义的随机噪声z,通过网络神经映射,变成如同真实样本一样

初始状态,辨别器强,因此,总体是0,

后面慢慢的生成器开始发力,然后总体的都是1/2

核心训练方法(讲清「怎么训」,突出「简单高效」)

  • 训练的核心原则:交替训练 D 和 G(D 训 k 步,G 训 1 步),原因是 "一次性把 D 训到最优计算量太大,还会过拟合";
  • 训练的技术亮点 :仅用反向传播 + Dropout,生成样本仅需正向传播,对比传统模型的 "马尔可夫链 / 近似推理",突出 GAN 的计算简洁性(汇报时可加一句「这是 GAN 最核心的工程优势」)。

如何求期望

因此等价于

最大化,就是不看积分那里,然后求极值点

相关推荐
硅谷秋水7 分钟前
扩展机器人智能体的在线探索能力
人工智能·语言模型·机器人
Eyfcom8 分钟前
〖高级算法实战 04〗物流定价博弈论:动态定价算法如何平衡运力供需与利润?
人工智能·物流管理系统·高级算法实战·众包物流
锋行天下27 分钟前
服务器 Python 2.7 装不了 langgraph-cli?用本地生成 Dockerfile 曲线救国
人工智能·后端·python
一条大祥脚31 分钟前
深入理解 PyTorch FlexAttention:从 Score Mod 到 Mask Mod 的稀疏加速之道
人工智能·pytorch·python·注意力机制·flex attention·可编程注意力
机 _ 长32 分钟前
03 智算运维|丢 0.1% 的包,8 卡训练为什么会崩
人工智能·模型部署·智算运维
汤姆宝库1 小时前
权重量化的实现:从absmax到GPTQ与AWQ
人工智能
硅谷秋水1 小时前
PhysicalWords:一种用于构建机器人操作中潜推理过程的词汇体系
人工智能·机器学习·计算机视觉·语言模型·机器人
喵个咪2 小时前
GoWind 拆解:AI Agent 编排引擎——波次并行、子图递归与人工审批
人工智能·后端·go
ZzT3 小时前
AI 是放大器:基础越扎实,放大效果越明显
人工智能·ai编程
喵个咪3 小时前
GoWind Admin 拆解:AI 能力层——工具循环、pgvector 知识库与机器凭证
人工智能·后端·agent