COMO-ViT论文阅读笔记

Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network

  • 这是一篇美团、旷视、深先院、华为诺亚方舟实验室、中国电子科技大学 五个单位合作的ICCV2023的暗图增强论文,不过没有开源代码。

  • 文章的贡献点一个是提出了Global Gamma Correction Module 和 Local Gamma Correction Module相结合的illumination adaptive gamma correction模块,一个是提出了COMO-ViT的网络结构。整体流程如下图所示

  • 流程分为3个stage,首先是对暗图 I I I进行卷积pooling全连接sigmoid,产生进行全局gamma校正的参数实现gamma校正。这里把gamma校正展开成泰勒公式以加速运算

  • 第二个stage则是把gamma校正后的图片和原图一起送进第二阶段的网络提取特征,并且用到了空间注意力机制,然后将两个特征加到一起作为融合后的特征送进第三阶段的网络。

  • 第三阶段则两个分支,一个transformer分支进行non-overlapping window内部的self-attention,一个CNN分支补充transformer分支因为window之间没有交互的缺点,把CNN的特征和transformer的特征加在一起,再送进一个global的transformer做window之间的注意力,输出作为送进下一层的特征。多个这样的操作后,卷积sigmoid得到local gamma 校正的参数,进行local 的gamma校正:

  • 损失函数如下:

  • 最后是在LOLv2-Real上达到了22.2的PSNR(没有和LLFlow比哈哈哈):

总结

  • 个人感觉,泰勒展开应该是没有加速效果的,不仅没有开源,也没有给这个的消融实验;同时呢,只给PSNR和SSIM是很少见的,LPIPS LOE FID NIQE都没有给,比PSNR也没有和LLFlow(25.42的PSNR)比。感觉发ICCV有点。。。
相关推荐
GGMM78910 小时前
富士 EP‑3955D 变频器主板维修调试笔记
笔记·变频器·变频器维修
今儿敲了吗10 小时前
CN——网络层(上)
网络·笔记
_Narcissus_11 小时前
排序算法总结表格
c语言·数据结构·c++·笔记·算法·排序算法·总结
Shell运维手记13 小时前
Linux (挂载|rpm|yum|源码编译)
linux·运维·笔记·网络协议·bash
2kπ14 小时前
QT开发笔记
开发语言·笔记·qt
江屿风14 小时前
【STM32基础篇】【嵌入式生态问题及历史追溯】流食般投喂
大数据·开发语言·人工智能·笔记·stm32·嵌入式硬件
zjxtxdy14 小时前
stm32usart通信接口
网络·笔记
FTS苏州运营部-富港包装检测技术16 小时前
YY/T 0681.3‑2010 无约束包装抗内压破坏试验 技术笔记
笔记·yy/t 0681.2·yy/t 0681.3·yy/t 0681.9·astm f1140·无约束包装·astm f2054
_Narcissus_17 小时前
B树概念及操作笔记(含完整代码实现)
c语言·数据结构·数据库·c++·笔记·b树·算法
sunoo-22917 小时前
【C 语言标准 IO 入门】第二天学习笔记:文件操作核心函数 + 实战案例 + 踩坑合集
linux·笔记·vscode·学习