COMO-ViT论文阅读笔记

Low-Light Image Enhancement with Illumination-Aware Gamma Correction and Complete Image Modelling Network

  • 这是一篇美团、旷视、深先院、华为诺亚方舟实验室、中国电子科技大学 五个单位合作的ICCV2023的暗图增强论文,不过没有开源代码。

  • 文章的贡献点一个是提出了Global Gamma Correction Module 和 Local Gamma Correction Module相结合的illumination adaptive gamma correction模块,一个是提出了COMO-ViT的网络结构。整体流程如下图所示

  • 流程分为3个stage,首先是对暗图 I I I进行卷积pooling全连接sigmoid,产生进行全局gamma校正的参数实现gamma校正。这里把gamma校正展开成泰勒公式以加速运算

  • 第二个stage则是把gamma校正后的图片和原图一起送进第二阶段的网络提取特征,并且用到了空间注意力机制,然后将两个特征加到一起作为融合后的特征送进第三阶段的网络。

  • 第三阶段则两个分支,一个transformer分支进行non-overlapping window内部的self-attention,一个CNN分支补充transformer分支因为window之间没有交互的缺点,把CNN的特征和transformer的特征加在一起,再送进一个global的transformer做window之间的注意力,输出作为送进下一层的特征。多个这样的操作后,卷积sigmoid得到local gamma 校正的参数,进行local 的gamma校正:

  • 损失函数如下:

  • 最后是在LOLv2-Real上达到了22.2的PSNR(没有和LLFlow比哈哈哈):

总结

  • 个人感觉,泰勒展开应该是没有加速效果的,不仅没有开源,也没有给这个的消融实验;同时呢,只给PSNR和SSIM是很少见的,LPIPS LOE FID NIQE都没有给,比PSNR也没有和LLFlow(25.42的PSNR)比。感觉发ICCV有点。。。
相关推荐
Nuanyt37 分钟前
LeetCode Hot 100 链表专题2 3 题 (Java)
java·笔记·算法·leetcode·链表
asaotomo40 分钟前
截图识题、AI 讲解、笔记沉淀:Chrome 扩展体验
前端·chrome·笔记
熊猫钓鱼>_>1 小时前
鸿蒙PC高分屏与键鼠交互适配:DPI缩放、右键菜单一次讲清
开发语言·笔记·华为·ai编程·harmonyos·鸿蒙·鸿蒙心迹
H_BB1 小时前
面试笔记:数据加密和心跳机制
笔记·面试·职场和发展
海绵宝宝转agent1 小时前
LeetCodehot100题解
java·笔记·学习·算法·leetcode·深度优先
2601_961146202 小时前
实验室等离子表面处理设备安全整改记录:通风、UV、接地三项
笔记·安全·uv
天树星智源2 小时前
静态物理满分、交互 11.54%:3D 场景生成系统的幻觉
论文阅读·人工智能·3d·机器人
ACP广源盛139246256732 小时前
高速 USB 切换方案选型笔记:10Gbps 全通道同步开关 LH6828@ACP 评估
笔记·硬件架构·国产芯片
sbjdhjd12 小时前
网工进阶笔记:H3CSE 园区网全栈技术与协议汇总
网络·笔记·云计算·ssh·网络工程·vlan·aaa
海绵宝宝的月光宝盒15 小时前
14-AutoCAD-阵列命令应用与案例实战(AR)
经验分享·笔记·自动化·课程设计·制造·学习方法·cad