PromptIR论文阅读笔记

  • MZUAI和IIAI在NIPS2023上的一篇论文,用prompt来编码degradation,然后用来guide restoration network,使得模型能够泛化到不同degradation types and levels,也就是说是一个模型一次训练能够应对多种degradation的unified model。
  • 文章分析,对每种degradation都要train一个模型是compute-intensive and tedious process, and oftentimes impractical for resource-constrained platforms. 同时,为了对一张图片进行restore,需要提前知道degradation以选择对应的模型。因此本文提出这样的框架,对输入图片,用一个PGM来生成degradation prompt,然后在现有restoration网络中插入PIM,利用degradation prompt来实现对多种degradation的差异化处理,实现一个unified网络完成多种restoration任务。
  • 具体如下图所示,主要就是这个PGM和PIM。首先预定义好一些prompt components,他们是可训练的参数,有固定的size,是CHW的。然后在每个块里面,会对prompt components进行bilinear upsampling到本层特征的size大小,然后用w对不同通道分配权重后再过一层3x3卷积然后和本层特征concatenate到一起去处理。w是从本层特征经过GAP,全连接,softmax后得到的。整个网络的backbone用的是restormer:
  • 实验部分,做了两类实验,一类是single task的,就是一个task train一个模型,去测。multi-task的,就是在混合的数据集中train一个模型,去多个task上测。可以看到all-in-one的结果确实是sota,虽然在denoising上优势不高,但在其它两个任务上有很大优势:
  • 而在single task也达到了各个任务的sota:
  • 评价:我有一点强烈的质疑,就是prompt是CHW这个事情,从数学上看就非常不合理。concatenate进去的prompt,如果代表的是degradation信息,为什么在不同的位置有不同的预设值?难道所有的图片的degradation的空间分布都一样吗?假设其中一个通道代表噪声强度,那这个HxW的map的实际意义是什么呢?噪声强度?那这个map的左上角比中间小,难道代表对所有图片来说,左上角的噪声强度都比中间小吗?这个CHW的prompt总之在可解释性上非常存疑。
相关推荐
DKPT41 分钟前
Java组合模式实现方式与测试方法
java·笔记·学习·设计模式·组合模式
受之以蒙1 小时前
Rust & WASM 之 wasm-bindgen 基础:让 Rust 与 JavaScript 无缝对话
前端·笔记·rust
茫忙然2 小时前
【WEB】Polar靶场 6-10题 详细笔记
笔记
eric*16882 小时前
尚硅谷张天禹老师课程配套笔记
前端·vue.js·笔记·vue·尚硅谷·张天禹·尚硅谷张天禹
Allen_LVyingbo3 小时前
数智读书笔记系列035《未来医疗:医疗4.0引领第四次医疗产业变革》
人工智能·经验分享·笔记·健康医疗
岑梓铭3 小时前
考研408《计算机组成原理》复习笔记,第三章(3)——多模块存储器
笔记·考研·408·计算机组成原理
菜菜why3 小时前
MSPM0G3507学习笔记(一) 重置版:适配逐飞库的ti板环境配置
笔记·学习·电赛·嵌入式软件·mspm0
c7693 小时前
【文献笔记】Automatic Chain of Thought Prompting in Large Language Models
人工智能·笔记·语言模型·论文笔记
X_StarX4 小时前
【Unity笔记01】基于单例模式的简单UI框架
笔记·ui·unity·单例模式·游戏引擎·游戏开发·大学生
智者知已应修善业6 小时前
【51单片机用数码管显示流水灯的种类是按钮控制数码管加一和流水灯】2022-6-14
c语言·经验分享·笔记·单片机·嵌入式硬件·51单片机