论文阅读:AugGAN: Cross Domain Adaptation with GAN-based Data Augmentation

Abstract

  • 基于GAN的图像转换方法存在两个缺陷:保留图像目标保持图像转换前后的一致性,这导致不能用它生成大量不同域的训练数据。
  • 论文提出了一种结构感知 (Structure-aware)的图像转换网络(image-to-image translation network)。

Proposed Framework

  • 为了将图像正确地转换,我们需要编码信息包含:1)相互风格信息 (Mutual style)2)结构信息
  • 在我们同时优化图像转化和语义分割的假设下,通过我们的参数共享策略,语义分割子任务作为图像转化的辅助正则化。
  • 框架具体过程可以参考上面的图示。

结构感知编码和分割子任务

  • 文章认为通过训练分割子任务,可以将图像的结构化信息学习出来。

多任务网络的权重共享

  • 生成器解析网络 之间共享权值,允许生成器充分利用上下文感知的特征向量。
  • 我们计算了两个网络反卷积层之间的差异,并以零矩阵为目标,通过均方误差将差建模为损失函数。给出了软分权损失函数的数学表达式:

循环一致性

  • 循环一致性损失已被证明在防止网络在目标域内生成随机图像方面是相当有效的。

对抗性学习

  • 网络包括两个生成对抗网络:

实验

Synthetic Datasets

Reality Datasets

  • 从实验结果来看效果并不够好,但是这种学习方法还是值得借鉴的。

Reference

[1] Huang S W, Lin C T, Chen S P, et al. Auggan: Cross domain adaptation with gan-based data augmentation[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 718-731.

相关推荐
果冻人工智能8 分钟前
2025 年将颠覆商业的 8 大 AI 应用场景
人工智能·ai员工
代码不行的搬运工9 分钟前
神经网络12-Time-Series Transformer (TST)模型
人工智能·神经网络·transformer
石小石Orz11 分钟前
Three.js + AI:AI 算法生成 3D 萤火虫飞舞效果~
javascript·人工智能·算法
孤独且没人爱的纸鹤20 分钟前
【深度学习】:从人工神经网络的基础原理到循环神经网络的先进技术,跨越智能算法的关键发展阶段及其未来趋势,探索技术进步与应用挑战
人工智能·python·深度学习·机器学习·ai
阿_旭23 分钟前
TensorFlow构建CNN卷积神经网络模型的基本步骤:数据处理、模型构建、模型训练
人工智能·深度学习·cnn·tensorflow
羊小猪~~24 分钟前
tensorflow案例7--数据增强与测试集, 训练集, 验证集的构建
人工智能·python·深度学习·机器学习·cnn·tensorflow·neo4j
极客代码30 分钟前
【Python TensorFlow】进阶指南(续篇三)
开发语言·人工智能·python·深度学习·tensorflow
zhangfeng113331 分钟前
pytorch 的交叉熵函数,多分类,二分类
人工智能·pytorch·分类
Seeklike32 分钟前
11.22 深度学习-pytorch自动微分
人工智能·pytorch·深度学习
庞传奇32 分钟前
TensorFlow 的基本概念和使用场景
人工智能·python·tensorflow