VAE中Encoder和Decoder的理论基础的探索

这里从Encoder和Decoder的角度探索VAE。

所用示例参考和修改自网络资料。

1. Encoder和Decoder

1.1 编码器Encoder

编码器是一个变分近似后验分布,它将输入数据映射到潜在变量的条件分布:

其中:

是编码器神经网络参数

和是编码器输出的均值和标准差

因为采用了压缩表示,潜在空间维度通常远小于输入空间维度。

1.2 解码器Decoder

解码器是生成分布,它将潜在变量映射回数据空间:

其中是解码器神经网络参数。

先验分布(Prior)

假设潜在变量的先验分布为标准正态分布:

2 ELBO完整推导

2.1 ELBO的目标

对于VAE,ELBO的目标是最大化边际似然

对于数据集,希望最大化:

其中单个数据点的边际似然为:

2.2 变分下界推导

步骤1:引入变分分布

对于任意变分分布,边际似然可写为:

步骤2:应用Jensen不等式

步骤3:得到ELBO基本形式

定义证据下界(ELBO):

因此:

步骤4:分解ELBO

展开联合分布:

步骤5:识别KL散度

第二项是负的KL散度:

最终ELBO表达式:

2.3 直观解释

1)重构项(第一项):

  • 衡量解码器从潜在变量重构原始数据的能力

  • 相当于自动编码器的重构损失

  1. 正则化项(第二项):
  • 强制编码器输出的分布接近先验分布p(z)

  • 防止过拟合,确保潜在空间有良好的结构

2.4 重参数化技巧

重参数化技巧(Reparameterization Trick)

为了反向传播能联通随机采样过程,将采样操作重参数化为:

这使得梯度可计算。

2.5 训练目标

VAE的训练目标是最大化所有数据的ELBO之和:

其关键要点如下

1)变分推断框架:VAE将生成模型训练转化为变分推断问题

2)amortized推断:使用神经网络编码器实现高效的推断

3)端到端训练:通过重参数化技巧实现ELBO的梯度估计

4)平衡 trade-off:重构项与KL散度项的平衡控制着生成质量与多样性

VAE实现了可扩展深度生成模型的训练,为扩散模型、归一化流等模型奠定了基础。

reference


相关推荐
forest_093 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
H.莓飛4 小时前
【C++】【STL】stack_OJ题
服务器·c语言·开发语言·数据结构·c++·算法·visual studio
火山引擎开发者社区4 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔5 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区5 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM1235 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI5 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健6 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
不会武功不懂江湖6 小时前
RISC-V链接器与链接脚本
汇编·算法·risc-v