AE, VAE和VQ-VAE有什么区别?

写在前面

AE, VAE, VQ-VAE是一系列的工作,其中VAE更是构成了整个AIGC的重要基石,那么他们之间有什么区别呢?

1. AE

AE(AutoEncoder)是一种自编码器,能够将一个图片压缩成一个较短的向量。其结构如下所示。

它有一对编码器和解码器, 编码器负责将图片压缩到一个较短的向量,而解码器负责将较短的向量恢复成图片。在训练的时候,两者做loss。但是这样的话会有一个问题,即Decoder只认识Encoder的向量,一旦我们扔掉Encoder,那么Decoder将会变得毫无用处。

2. VAE

如果我们能够限制住AE的编码空间,使其能够符合某个数学分布,比如标准正态分布,那么我们就可以在标准正态分布中随机采样给Decoder,那么就能够生成随机的图了。VAE就是来干这事儿的网络。网络结构如下:

3. VQ-VAE

但是VAE生成图的质量普遍不高,有人认为原因是因为VAE把图片编码成了连续的变量,但是我们在描述物体时,转化为离散变量会更为自然。比如我们描述一个人,不会说胖0.6, 性别是0.5, 年龄是0.3。而是说男或女,年龄20。

但是把图像编码成离散化之后,就又出现了两个新的问题。

  1. 神经网络擅长处理连续的数值,而不擅长处理离散数据。解决方法是借鉴nlp中处理离散单词的方法,将连续数据处理成一个独一无二的连续向量上
  1. 另外一个问题是,离散空间不太好采样,因此不能像VAE那样进行随机图像生成。

VQVAE的作者的做法是,通过PixelCNN随机在数学分布中采样,生成小图像,再用VQGAN的decoder翻译小图像成大图像。

具体做法如下:

  1. 训练VQGAN的编码器和解码器,编码器负责将图像压缩到小图像,解码器负责将小图像还原成大图
  2. 训练PixelCNN, 让它拥有能够从随机分布中采样成小图像的能力
  3. 扔掉VQGAN的编码器,接上PixelCNN, 使得VQVAE拥有从随机分布中采样图像的能力

那么VQGAN怎么生成离散向量的呢?

作者设计了一个embedding space

为了能够让编码器的输入向量、embedding space, 以及解码器的输入张量embedding关联起来,作者做了如下方案:

假设codebook已经训练完毕,对于编码器的每个输入z(x), 通过最近邻找到embedding中与之最相近的向量z(q), 然后用z(q)替换z(x)。

相关推荐
墨风如雪6 分钟前
会“偷懒”的大模型来了:快手开源KAT-V1,终结AI“过度思考”
aigc
码字的字节34 分钟前
深度学习损失函数的设计哲学:从交叉熵到Huber损失的深入探索
深度学习·交叉熵·huber
凪卄12131 小时前
图像预处理 二
人工智能·python·深度学习·计算机视觉·pycharm
EdisonZhou1 小时前
多Agent协作入门:群聊编排模式
llm·aigc·.net core
碳酸的唐1 小时前
Inception网络架构:深度学习视觉模型的里程碑
网络·深度学习·架构
AI赋能1 小时前
自动驾驶训练-tub详解
人工智能·深度学习·自动驾驶
seasonsyy1 小时前
1.安装anaconda详细步骤(含安装截图)
python·深度学习·环境配置
deephub1 小时前
AI代理性能提升实战:LangChain+LangGraph内存管理与上下文优化完整指南
人工智能·深度学习·神经网络·langchain·大语言模型·rag
go54631584652 小时前
基于深度学习的食管癌右喉返神经旁淋巴结预测系统研究
图像处理·人工智能·深度学习·神经网络·算法
Blossom.1182 小时前
基于深度学习的图像分类:使用Capsule Networks实现高效分类
人工智能·python·深度学习·神经网络·机器学习·分类·数据挖掘