transformer序列长度大导致计算复杂度高
GAN
- 训练过程
第一阶段:固定「判别器D」,训练「生成器G」。使用一个性能不错的判别器,G不断生成"假数据",然后给这个D去判断。开始时候,G还很弱,所以很容易被判别出来。但随着训练不断进行,G技能不断提升,最终骗过了D。这个时候,D基本属于"瞎猜"的状态,判断是否为假数据的概率为50%。
第二阶段:固定「生成器G」,训练「判别器D」。当通过了第一阶段,继续训练G就没有意义了。这时候我们固定G,然后开始训练D。通过不断训练,D提高了自己的鉴别能力,最终他可以准确判断出假数据。
重复第一阶段、第二阶段。通过不断的循环,「生成器G」和「判别器D」的能力都越来越强。最终我们得到了一个效果非常好的「生成器G」,就可以用它来生成数据。
CGAN
CGAN的核心思想在于将额外的条件信息引入到原始GAN的架构中,使得生成器和判别器在训练过程中同时考虑条件变量。