Learning Enriched Features for Fast Image Restoration and Enhancement 论文阅读笔记

  • 这是2022年TPAMI上发表的大名鼎鼎的MIRNetv2,是一个通用的图像修复和图像质量增强模型,核心是一个多尺度的网络

  • 网络结构整体是残差的递归,不断把残差展开可以看到是一些残差块的堆叠。核心是多尺度的MRB。网络用的损失函数朴实无华:

  • MRB的核心是RCB和SKFF两个模块,先介绍SKFF,它是用来融合多尺度特征图的,如下所示。这里的特征图是已经上采样到相同尺度了,相加做一个global average pooling和全连接层后,分成两个向量,各自再全连接层一次,然后softmax归一化使得两个向量的加和处处为1,然后进行通道加权后相加。

  • RCB模块如下图所示,具体做什么都能看懂,其实就是卷积加提取了一个C维的通道偏置

  • 训练的时候使用了progressive training,先用小patch训练,慢慢增大patch size

  • 实验结果(我只关注暗图增强)可以看到PSNR还是蛮高的,视觉效果也不错:

  • 启发是,一个高性能的网络,用简单的距离损失函数进行有监督训练,能够产生很好的增强结果

相关推荐
Mxzx品牌11 小时前
佛山招聘软件哪个好:【帅聘网】匹配度高
笔记·其他·生活
九硕智慧建筑一体化厂家11 小时前
无线动能开关|烘焙后厨防潮免布线照明控制方案
运维·笔记·智慧城市
ZZHow102412 小时前
PyTorch深度学习入门笔记(小土堆)P7-14
人工智能·pytorch·笔记·python·深度学习
九硕智慧建筑一体化厂家12 小时前
直流照明|档案库房专用照明,防紫外线、防纸张老化、适配24小时值守
运维·网络·笔记·智慧城市
prog_610312 小时前
【笔记】用cursor手搓cursor(八)
笔记·llm·大语言模型·agent
一只小菜鸡..13 小时前
南京大学 操作系统 (JYY) 学习笔记:文件系统实现——从 FAT、ext2 到现代 B-Tree 黑科技
笔记·科技·学习
小飞猪。。13 小时前
笔记十八:大模型 RLHF 系统工程实战笔记
人工智能·笔记
春水碧于天,画船听雨眠13 小时前
LangChain学习笔记(一)
笔记·学习·langchain
Zzj_tju13 小时前
Instruction Tuning 论文精读路线:从 Supervised Fine-Tuning 到 Instruction Following
人工智能·笔记·学习·语言模型·自然语言处理
wangyue_msn_8615 小时前
Agent知识学习笔记——01 Prompt/Function call/记忆/上下文
笔记·学习·prompt