Domain Adaptation模型之pix2pix原理简介

一、Domain Adaptation 简述

Domain Adaptation是机器学习和计算机视觉领域的一个研究分支,主要处理如何将在一个领域(源域)上学习到的知识或模型,有效地应用到另一个不同但相关的领域(目标域)。由于源域和目标域的数据分布可能存在较大的差异,直接应用源域模型到目标域可能会导致性能下降。因此,Domain Adaptation的目标是找到一种方法,减小源域和目标域之间的差异,使得模型在目标域上也能取得较好的性能,这里介绍使用过的一种经典算法pix2pix ,出自《Image-to-Image Translation with Conditional Adversarial Networks》

二、pix2pix模型

文章链接

https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1703.1059

效果图如下:

2.1. 网络结构与训练过程

2.1.1 生成器网络:

生成器G网络采用了U-Net结构,作者认为图像的底层特征同样重要,相比于原始的encoder-decorder结构,增加了跳连部分,使低频信息可以更多的传递到输出;下图为原始的Unet结构;

2.2.2 判别器网络:

判别器D网络要输入成对的图像,类似于cGAN,如果G(x)和x是对应的,对于生成器来说希望判别为1;如果G(x)和x不是对应的,对于生成器来说希望判别器判别为0;

与之不同的是作者提出了"PatchGAN"的概念,PatchGAN是对图片中的每一个N×N的小块(patch)计算概率,然后再将这些概率求平均值作为整体的输出,这样的结果往往是通过卷积层来达到的,因为逐次叠加的卷积层最终输出的这个N x N 的矩阵,其中的每一个元素,实际上代表着原图中的一个比较大的感受野;

这样设计的优点是:PatchGAN具有更少的参数,比分类整个图像要运行更快;

2.2.3 损失函数

条件Gan的优化目标为:

pix2pix沿用了上述目标函数,但是判定器不观察X;

pix2pix 将GAN目标与更传统的损失混合,同时增加了L1-loss,因为L1可以减少模糊;

最终的loss函数为:

不同loss的比较效果:

三、总结

pix2pix是基于深度学习的图像到图像翻译模型,在图像风格转换、图像修复、图像增强等多个方面都有广泛的应用。通过理解它们的原理和网络结构,我们可以更好地应用这些模型来解决实际问题;

四、pytorch代码实现参考

https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

个人水平有限,有问题随时联系~

相关推荐
荆棘鸟智能9 分钟前
河道采砂船识别与轨迹追踪怎么做?检测、跟踪与电子围栏实战思路
人工智能·算法·目标检测
DFT计算杂谈44 分钟前
GSAS-II X 射线衍射(XRD)数据转换为对分布函数(PDF,Pair Distribution Function)
算法·机器学习·pdf
绕灵儿1 小时前
火灾检测-应用场景-YOLO训练记录
人工智能·算法
YLCHUP1 小时前
【模拟&STL】题解:AT_abc203_e [ABC203E] White Pawn_基础算法_数据结构_STL模板库_AtcoderABC_C++算法竞赛
数据结构·c++·算法·leetcode·动态规划·哈希算法·近邻算法
(●—●)橘子……1 小时前
力扣 第525场周赛 练习理解
数据结构·python·学习·算法·leetcode
Rain的Java大神之路2 小时前
LeetCode 21 合并两个有序链表:一道 Easy 题,凭什么刷掉一半候选人?
java·后端·算法
小蒋观天下2 小时前
太阳能低功耗AI相机专项:AOV值守、唤醒时序、ISP启停时序BUG
深度学习·数码相机·算法·机器学习
wenyq72 小时前
LeetCode 152. Maximum Product Subarray
java·算法·leetcode
余额瞒着我当琳2 小时前
C++异常,异常的概念,异常抛出与捕获,RAII 和智能指针的设计思路,C++标准库一些指针的使用
java·开发语言·c++·算法
2601_970703832 小时前
除湿机原理研究报告:一台机器在物理上能走多远
大数据·数据结构·算法·数据库架构·推荐算法