Learning Enriched Features for Fast Image Restoration and Enhancement 论文阅读笔记

  • 这是2022年TPAMI上发表的大名鼎鼎的MIRNetv2,是一个通用的图像修复和图像质量增强模型,核心是一个多尺度的网络

  • 网络结构整体是残差的递归,不断把残差展开可以看到是一些残差块的堆叠。核心是多尺度的MRB。网络用的损失函数朴实无华:

  • MRB的核心是RCB和SKFF两个模块,先介绍SKFF,它是用来融合多尺度特征图的,如下所示。这里的特征图是已经上采样到相同尺度了,相加做一个global average pooling和全连接层后,分成两个向量,各自再全连接层一次,然后softmax归一化使得两个向量的加和处处为1,然后进行通道加权后相加。

  • RCB模块如下图所示,具体做什么都能看懂,其实就是卷积加提取了一个C维的通道偏置

  • 训练的时候使用了progressive training,先用小patch训练,慢慢增大patch size

  • 实验结果(我只关注暗图增强)可以看到PSNR还是蛮高的,视觉效果也不错:

  • 启发是,一个高性能的网络,用简单的距离损失函数进行有监督训练,能够产生很好的增强结果

相关推荐
comyccccc1 小时前
STM32F407VET6核心板的部分电路绘制学习笔记
笔记·stm32·学习
叼烟扛炮1 小时前
Linux 学习笔记(三十六):并发进阶——读写锁 vs 自旋锁,到底怎么选?
linux·运维·服务器·笔记·学习
摇滚侠1 小时前
《On Java 中文版 基础卷》阅读笔记 复用 13
java·笔记·python
摇滚侠2 小时前
《大模型是怎样跑起来的(轻科技)》软件篇 阅读笔记
笔记·科技
hss123456782 小时前
天津整装公司横向测评:红杉树大宅整装与业某峰、东某日盛在工期、ENF板材、防水厚度和监理模式上的数据差异
笔记
京存高性能存储2 小时前
POC 实测笔记:全闪存储大带宽压测,顺序读 19.2GiB/s、顺序写 10.8GiB/s,聊聊长尾延迟与持续吞吐问题
人工智能·笔记
runningshark2 小时前
雅思-speak-lesson5上课笔记
笔记
海鸥-w2 小时前
区域名称同步存储实现笔记
java·笔记
東隅已逝,桑榆非晚3 小时前
map和set的使用
数据结构·c++·笔记·学习
Z21-X3 小时前
云原生运维笔记:硬核拆解OpenStack计算与存储——从主机聚合到Cinder挂载全流程
运维·笔记·学习·云原生·openstack