【深度学习】写实转漫画——CycleGAN原理解析

1、前言

上一篇,我们讲解了按照指定文本标签生成对应图像的CGAN。本篇文章,我们讲CycleGAN。这个模型可以对图像风格进行转化,并且训练还是在非配对的训练集上面进行的,实用性挺大

原论文:Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks (arxiv.org)

参考代码:A clean and readable Pytorch implementation of CycleGAN (github.com)

视频:【写实转漫画------CycleGAN原理解析-哔哩哔哩】

案例演示(现实转漫画):

PS:图像来自此项目:Style transfer for between real photos and anime images using CycleGAN (github.com)

2、CycleGAN训练原理

前置知识:GAN

以我们拍摄的照片转为漫画风格为例,在训练的时候,我们应当要有一批写实图像,记为X,还有另外一批漫画图像,记为Y

同GAN一样,CycleGAN也有生成网络跟判别网络;只不过,在CycleGAN中,生成网络有两个,判别网络也有两个。

首先,生成网络记为G,F

对于写实图像X,把它作为输入送给生成网络G,生成对应的漫画图像,由于是通过X伪造的,我们记为 Y ^ \hat Y Y^;对于训练的漫画图像Y,我们将它作为输入送给生成网络F,生成对应的写实图像,由于是通过Y伪造的,我们记为 X ^ \hat X X^

2.1、对抗损失

判别网络

记为 D x , D y D_x,D_y Dx,Dy,与GAN一样,我们希望判别网络能够正确区分出真实图像和伪造的图像;于是便有(对这个不熟的请看GAN)

对 D x D_x Dx
max ⁡ D x E x ∼ P d a t a ( X ) [ log ⁡ D x ( x ) ] + E y ∼ P d a t a ( Y ) [ log ⁡ ( 1 − D x ( F ( y ) ) ] (1) \max\limits_{D_x}\mathbb{E}{x\sim P{data}(X)}\left[\log D_x(x)\right]+\mathbb{E}{y\sim P{data}(Y)}\left[\log (1-D_x(F(y))\right]\tag{1} DxmaxEx∼Pdata(X)[logDx(x)]+Ey∼Pdata(Y)[log(1−Dx(F(y))](1)

对 D y D_y Dy
max ⁡ D y E y ∼ P d a t a ( Y ) [ log ⁡ D y ( y ) ] + E x ∼ P d a t a ( X ) [ log ⁡ ( 1 − D y ( G ( x ) ) ] (2) \max\limits_{D_y}\mathbb{E}{y\sim P{data}(Y)}\left[\log D_y(y)\right]+\mathbb{E}{x\sim P{data}(X)}\left[\log (1-D_y(G(x))\right]\tag{2} DymaxEy∼Pdata(Y)[logDy(y)]+Ex∼Pdata(X)[log(1−Dy(G(x))](2)
生成网络

同GAN一样,生成网络希望生成的图像能够欺骗判别网络

对G
min ⁡ G E x ∼ P d a t a ( X ) [ log ⁡ ( 1 − D y ( G ( x ) ) ] (3) \min\limits_{G}\mathbb{E}{x\sim P{data}(X)}\left[\log (1-D_y(G(x))\right]\tag{3} GminEx∼Pdata(X)[log(1−Dy(G(x))](3)

对F
min ⁡ F E y ∼ P d a t a ( Y ) [ log ⁡ ( 1 − D x ( F ( y ) ) ] (4) \min\limits_{F}\mathbb{E}{y\sim P{data}(Y)}\left[\log (1-D_x(F(y))\right]\tag{4} FminEy∼Pdata(Y)[log(1−Dx(F(y))](4)

整合(2)、(3)得
L G A N ( G , D y , X , Y ) = min ⁡ G max ⁡ D y E y ∼ P d a t a ( Y ) [ log ⁡ D y ( y ) ] + E x ∼ P d a t a ( X ) [ log ⁡ ( 1 − D y ( G ( x ) ) ] (5) \mathcal{L}{GAN}(G,D_y,X,Y)=\min\limits{G}\max\limits_{D_y}\mathbb{E}{y\sim P{data}(Y)}\left[\log D_y(y)\right]+\mathbb{E}{x\sim P{data}(X)}\left[\log (1-D_y(G(x))\right]\tag{5} LGAN(G,Dy,X,Y)=GminDymaxEy∼Pdata(Y)[logDy(y)]+Ex∼Pdata(X)[log(1−Dy(G(x))](5)

整合(1)、(4)得
L G A N ( F , D x , Y , X ) = min ⁡ F max ⁡ D x E x ∼ P d a t a ( X ) [ log ⁡ D x ( x ) ] + E y ∼ P d a t a ( Y ) [ log ⁡ ( 1 − D x ( F ( y ) ) ] (6) \mathcal{L}{GAN}(F,D_x,Y,X)=\min\limits{F}\max\limits_{D_x}\mathbb{E}{x\sim P{data}(X)}\left[\log D_x(x)\right]+\mathbb{E}{y\sim P{data}(Y)}\left[\log (1-D_x(F(y))\right]\tag{6} LGAN(F,Dx,Y,X)=FminDxmaxEx∼Pdata(X)[logDx(x)]+Ey∼Pdata(Y)[log(1−Dx(F(y))](6)

2.2、循环一致性损失(Cycle Consistency Loss)

有了以上的损失函数,当生成网络(如 Y ^ = G ( X ) \hat Y=G(X) Y^=G(X))生成图像,上面的函数只能够保证真实的Y和 Y ^ \hat Y Y^的概率分布是一样的,但是却无法保证两张图像除了风格以外,其他东西不变。于是,作者加入循环一致性损失

也就是,当我们把X通过生成网络G生成 Y ^ \hat Y Y^,我们希望可以将 Y ^ \hat Y Y^输入给生成网络,从而得到 X ^ \hat X X^,让 X X X跟 X ^ \hat X X^的差别最小。所以损失函数设定如下
L C y c l e ( G , F ) = E x ∼ P d a t a ( X ) [ ∣ ∣ F ( G ( x ) ) − x ∣ ∣ 1 ] + E y ∼ P d a t a ( Y ) [ ∣ ∣ G ( F ( y ) ) − y ∣ ∣ 1 ] (7) \mathcal{L}{Cycle}(G,F)=\mathbb{E}{x\sim P_{data}(X)}\left[||F(G(x))-x||1\right]+\mathbb{E}{y\sim P_{data}(Y)}\left[||G(F(y))-y||_1\right]\tag{7} LCycle(G,F)=Ex∼Pdata(X)[∣∣F(G(x))−x∣∣1]+Ey∼Pdata(Y)[∣∣G(F(y))−y∣∣1](7)

综合(5)、(6)、(7)可得最终损失函数
L ( G , F , D x , D y ) = L G A N ( G , D y , X , Y ) + L G A N ( F , D x , Y , X ) + λ L C y c l e ( G , F ) (8) \mathcal{L}(G,F,D_x,D_y)=\mathcal{L}{GAN}(G,D_y,X,Y)+\mathcal{L}{GAN}(F,D_x,Y,X)+\lambda\mathcal{L}_{Cycle}(G,F)\tag{8} L(G,F,Dx,Dy)=LGAN(G,Dy,X,Y)+LGAN(F,Dx,Y,X)+λLCycle(G,F)(8)

其中 λ \lambda λ是一个超参数,用于调节重要度的

2.3、鉴别损失

这个损失并非是必要的,作者在论文中提到,当模型做绘画转图像的任务时,加入这个鉴别损失,能够有效提高转化质量,其公式为
L i d e n t i t y ( G , F ) = E y ∼ P d a t a ( Y ) [ ∣ ∣ G ( y ) − y ∣ ∣ 1 ] + E x ∼ P d a t a ( X ) [ ∣ ∣ F ( x ) − x ∣ ∣ 1 ] (9) \mathcal{L}{\mathbb{identity}}(G,F)=\mathbb{E}{y\sim P_{data}(Y)}\left[||G(y)-y||1\right]+\mathbb{E}{x \sim P_{data}(X)}\left[||F(x)-x||_1\right]\tag{9} Lidentity(G,F)=Ey∼Pdata(Y)[∣∣G(y)−y∣∣1]+Ex∼Pdata(X)[∣∣F(x)−x∣∣1](9)

论文提到------"没有 L i d e n t i t y L_{\mathbb{identity}} Lidentity ,生成器G和F可以在不需要的时候自由地改变输入图像的色彩,比如画像的白天转化为图片后,会变成黄昏"。如图

​ 这个损失函数的理解我暂时没想明白,等以后想通了再回来补,如果您知道,还望指出!给您跪了!

3、结束

好了,以上便是这篇论文的主要内容了,如有问题,还望指出,阿里嘎多!

相关推荐
charles_vaez8 分钟前
开源模型应用落地-glm模型小试-glm-4-9b-chat-快速体验(一)
深度学习·语言模型·自然语言处理
北京搜维尔科技有限公司26 分钟前
搜维尔科技:【应用】Xsens在荷兰车辆管理局人体工程学评估中的应用
人工智能·安全
说私域29 分钟前
基于开源 AI 智能名片 S2B2C 商城小程序的视频号交易小程序优化研究
人工智能·小程序·零售
YRr YRr30 分钟前
深度学习:Transformer Decoder详解
人工智能·深度学习·transformer
知来者逆35 分钟前
研究大语言模型在心理保健智能顾问的有效性和挑战
人工智能·神经网络·机器学习·语言模型·自然语言处理
Shy96041839 分钟前
Bert完形填空
python·深度学习·bert
云起无垠44 分钟前
技术分享 | 大语言模型赋能软件测试:开启智能软件安全新时代
人工智能·安全·语言模型
老艾的AI世界1 小时前
新一代AI换脸更自然,DeepLiveCam下载介绍(可直播)
图像处理·人工智能·深度学习·神经网络·目标检测·机器学习·ai换脸·视频换脸·直播换脸·图片换脸
翔云API1 小时前
PHP静默活体识别API接口应用场景与集成方案
人工智能
浊酒南街1 小时前
吴恩达深度学习笔记:卷积神经网络(Foundations of Convolutional Neural Networks)4.9-4.10
人工智能·深度学习·神经网络·cnn