COMO-ViT论文阅读笔记

Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network

  • 这是一篇美团、旷视、深先院、华为诺亚方舟实验室、中国电子科技大学 五个单位合作的ICCV2023的暗图增强论文,不过没有开源代码。

  • 文章的贡献点一个是提出了Global Gamma Correction Module 和 Local Gamma Correction Module相结合的illumination adaptive gamma correction模块,一个是提出了COMO-ViT的网络结构。整体流程如下图所示

  • 流程分为3个stage,首先是对暗图 I I I进行卷积pooling全连接sigmoid,产生进行全局gamma校正的参数实现gamma校正。这里把gamma校正展开成泰勒公式以加速运算

  • 第二个stage则是把gamma校正后的图片和原图一起送进第二阶段的网络提取特征,并且用到了空间注意力机制,然后将两个特征加到一起作为融合后的特征送进第三阶段的网络。

  • 第三阶段则两个分支,一个transformer分支进行non-overlapping window内部的self-attention,一个CNN分支补充transformer分支因为window之间没有交互的缺点,把CNN的特征和transformer的特征加在一起,再送进一个global的transformer做window之间的注意力,输出作为送进下一层的特征。多个这样的操作后,卷积sigmoid得到local gamma 校正的参数,进行local 的gamma校正:

  • 损失函数如下:

  • 最后是在LOLv2-Real上达到了22.2的PSNR(没有和LLFlow比哈哈哈):

总结

  • 个人感觉,泰勒展开应该是没有加速效果的,不仅没有开源,也没有给这个的消融实验;同时呢,只给PSNR和SSIM是很少见的,LPIPS LOE FID NIQE都没有给,比PSNR也没有和LLFlow(25.42的PSNR)比。感觉发ICCV有点。。。
相关推荐
我爱挣钱我也要早睡!2 小时前
Java 复习笔记
java·开发语言·笔记
汇能感知6 小时前
摄像头模块在运动相机中的特殊应用
经验分享·笔记·科技
阿巴Jun7 小时前
【数学】线性代数知识点总结
笔记·线性代数·矩阵
茯苓gao7 小时前
STM32G4 速度环开环,电流环闭环 IF模式建模
笔记·stm32·单片机·嵌入式硬件·学习
是誰萆微了承諾7 小时前
【golang学习笔记 gin 】1.2 redis 的使用
笔记·学习·golang
DKPT8 小时前
Java内存区域与内存溢出
java·开发语言·jvm·笔记·学习
ST.J8 小时前
前端笔记2025
前端·javascript·css·vue.js·笔记
Suckerbin8 小时前
LAMPSecurity: CTF5靶场渗透
笔记·安全·web安全·网络安全
小憩-9 小时前
【机器学习】吴恩达机器学习笔记
人工智能·笔记·机器学习
UQI-LIUWJ9 小时前
unsloth笔记:运行&微调 gemma
人工智能·笔记·深度学习