使用GAN做图像超分——SRGAN,ESRGAN

在GAN出现之前,使用的更多是MSE,PSNR,SSIM来衡量图像相似度,同时也使用他们作为损失函数。

但是这些引以为傲的指标,有时候也不是那么靠谱:

MSE对于大的误差更敏感,所以结果就是会倾向于收敛到期望附近,表现为丢失高频信息。同时根据实验,MSE的收敛效果也差于L1:

但是只使用L1也有问题,现在通常的做法是多种损失混合使用,比如MS-SSIM+L1,还有基于DCT的loss。

在目前超分辨率的论文中不使用MSE,而使用L1或者Perceptual loss的原因是什么? - 知乎

SRGAN,ESRGAN,Real ESRGAN,一步步演化,对比着看才更容易理解。

SRGAN

SRGAN主要从损失函数的角度优化。因为发现一MSE为损失函数时,网络会倾向于平均的结果,表现在图像上就是过于平滑,丢失细节。https://arxiv.org/pdf/1609.04802.pdf

SRGAN使用了两个损失函数,一个是使用VGG的特征图,在特征图上计算欧式距离。第二个损失函数是使用对抗网络中的鉴别器,判断当前输出结果是否是真实的HR数据。

ESRGAN

ESRGAN在损失函数上继续优化。特征图损失部分,使用的是激活前的而不是激活后的,因为激活后的未免太抽象;

鉴别器损失部分,借鉴relativistic GAN,使用相对损失而不是绝对损失。

除了损失函数,网络结构方面也是把残差,dense net组合成更复杂的RRDB:

首先是构建Dense Block,卷积越往后,接受的通道数越多(因为是之前所有的输出和最开始的输入)。Dense Block把输出和输入线性组合,就是RDB。RRDB就是把三个RDB串起来,再把输出和输入做线性组合。组合的时候,输出只占0.2.

最终以PSNR和GAN为目标,作者训练了两套模型参数,对两套参数加权融合,可以互补二者的优缺点。

Real ESRGAN

Real ESRGAN主要的贡献是数据对的生成。通过模糊,下采样,加噪声,压缩,模拟振铃效应等得到了更接近真实退化的图像对:

SRGAN、ESRGAN与Real ESRGAN方法介绍 - 知乎

ESRGAN原理分析和代码解读 - 知乎

超分之ESRGAN官方代码解读_residual-in-residual dense block、-CSDN博客

相关推荐
2501_92487735几秒前
智慧零售漏扫率↓79%!陌讯多模态融合算法在智能收银与货架管理的实战解析
大数据·人工智能·算法·目标检测·边缘计算·零售
后端小肥肠19 分钟前
公众号想做 10w + 趣味漫画还在卡壳?Coze 工作流从 0 到 1 教你搭,难点全拆 + 一键出稿
人工智能·aigc·coze
xz2024102****26 分钟前
吴恩达机器学习作业二:线性可分逻辑回归
人工智能·机器学习·逻辑回归
机器之心35 分钟前
AAAI-26投稿量爆炸:近3万篇论文,2万来自中国,评审系统都快崩了
人工智能·openai
AI浩1 小时前
YOLOv8-SMOT:一种高效鲁棒的实时小目标跟踪框架:基于切片辅助训练与自适应关联
人工智能·yolo·目标跟踪
兰亭妙微1 小时前
用户体验设计 | 什么是 AX?从 UX 到 AX 的演进
人工智能·交互·ux·用户体验设计公司
森诺Alyson1 小时前
前沿技术借鉴研讨-2025.8.26(多任务分类/预测)
论文阅读·人工智能·经验分享·论文讨论
lisw051 小时前
医学冥思:生物技术的下一次革命
人工智能·微服务·学习方法·冥想
樱花的浪漫1 小时前
CUDA的编译与调试
人工智能·深度学习·语言模型·自然语言处理
掘金一周2 小时前
DeepSeek删豆包冲上热搜,大模型世子之争演都不演了 | 掘金一周 8.28
前端·人工智能·后端