生成对抗网络GAN的扩展应用理解

:本文仅个人学习理解,如需详细内容请看原论文!

一、cycleGAN

1.整体架构:

将图片A通过生成器生成图片B,然后通过判别器判别图片B的真假;并且图片B通过另一个生成器生成A',让A和A'近似。

2.4种损失函数:

G网络、D网络、Cycle、Identity,D网络中使用了PatchGAN。

3.PatchGAN的作用:

​ 输出的是一个N × N的矩阵,需要基于感受野来计算损失;基于感受野在特征图上的预测结果,和标签(也需要设置成N x N)计算损失。

​ 每个圆圈代表一个patch。

二、starGAN v1

1.生成器:

通过输入input image、目标域(目标风格)然后输出fake image;

将fake image与原始信号再次输入到生成器G中,生成Reconstructed image,使Reconstructed image与input image 越接近越好;

将fake image再次输入到判别器D中,然后通过类别判断真假。

2.判别器:

输入real image 和 fake image,通过判别器D输出图片的真假,以及分类结果

三、starGAN v2

引入了 Mapping network 与 Style encoder

1.Generator:

加入style编码,通过Mapping network 和 Style encoder编码

2.Mapping network:

输入:随机初始化一个向量,如16维向量Z(原图像);在传入一个reference(提供风格的图像)。

输出:64维向量,经过风格转换的图像。

组成:一些全连接网络构成。

3.Style encoder:

将原始的图像X做一个编码E(X)得到一个64维的向量。

4.Discriminator:

输出多分支结果,假设有3种风格,就会输出6种结果,每种风格都会产生2种结果。

相关推荐
悟乙己17 小时前
LangExtract + 知识图谱 — Google 用于 NLP 任务的新库
人工智能·自然语言处理·知识图谱
lpfasd12317 小时前
GEO崛起与AI信任危机:数据源安全如何守护智能时代的基石?
大数据·人工智能·安全
Allen正心正念202517 小时前
提升大语言模型性能的关键技术清单(from 网络)
人工智能·语言模型·自然语言处理
云雾J视界17 小时前
AI驱动半导体良率提升:基于机器学习的晶圆缺陷分类系统搭建
人工智能·python·机器学习·智能制造·数据驱动·晶圆缺陷分类
拂过世俗的风17 小时前
Hopfield神经网络简介
人工智能·深度学习·神经网络
IT_陈寒17 小时前
Vue 3响应式原理深度拆解:5个90%开发者不知道的Ref与Reactive底层实现差异
前端·人工智能·后端
swanwei17 小时前
AI与电力的深度绑定:算力与能源分配的趋势分析
大数据·人工智能
長安一片月18 小时前
深度学习的前世今生
人工智能·深度学习
逻极18 小时前
Spec-Kit 实战指南:从零到一构建“照片拖拽相册”Web App
人工智能·ai·agent·ai编程·web app
骄傲的心别枯萎18 小时前
RV1126 NO.40:OPENCV图形计算面积、弧长API讲解
人工智能·opencv·计算机视觉·音视频·rv1126