ExposureDiffusion: Learning to Expose for Low-light Image Enhancement论文阅读笔记

  • 南洋理工大学、鹏城实验室、香港理工大学在ICCV2023发表的暗图增强论文。用diffusion模型来进行raw图像暗图增强,同时提出了一个自适应的残差层用来对具有不同信噪比的不同区域采取不同的去噪策略。

  • 方法的框图如下所示:

  • 一张raw图片可以由信号和噪声组成,其中信号是曝光时间、增益和场景光子转化为电子数量三者乘积,噪声是由服从泊松分布的散粒噪声和与信号相独立的噪声的加和:


  • 文章定义暗图增强的目标为从一张 λ t = λ T \lambda_t=\lambda_T λt=λT的暗图 X T X_T XT恢复出一张 λ t = λ 0 > λ T \lambda_t=\lambda_0>\lambda_T λt=λ0>λT的正常曝光的图片 X 0 X_0 X0。套用到diffusion的扩散过程,exposure diffusion就是将正常曝光的图片作为 X 0 X_0 X0,将暗图作为 X T X_T XT,用网络来模拟从 X t X_{t} Xt到 X t − 1 X_{t-1} Xt−1的反向过程,从而实现对暗图的增强,如下图所示:

  • 与一般diffusion model不同的是,exposure diffusion的目标函数是网络预测的分布和实际分布的KL散度的一个上界:

  • 转移函数用的是如下公式,其中P是泊松分布:

    而损失函数其实也很简单,如下:

    其中 F Θ F_\Theta FΘ如下所示

    其中 X ^ \hat X X^和 R ^ \hat R R^分别是对正常光照的图像 X r e f X_{ref} Xref和 残差 R R R的预测值, M M M也是预测的一个soft的mask

  • 所以其实整体流程上,就暗图增强任务,这篇论文并没有提出一个暗图增强的网络结构,可以用任何现有的暗图增强网络的网络结构来实现,本文只是利用diffusion理论和自己的一些公式推导,提出了一个训练框架,把现有网络的输出接一个卷积层预测X M R三个分量,然后用本文推导的输入和损失函数来训练这个网络,最终使得这个网络的输出配合diffusion的公式和上面的公式(12)能够得到raw image的增强结果:

  • 实验结果看,用本文的方法,确实是可以提高网络在raw image上进行暗图增强的性能:

  • 但是,个人感觉文章藏了一些东西,比如,明明table给出了不同模型的parameters flops inference time,顺手就可以在下面给出改进后模型的inference time进行对比看看增加了多少,它偏不,非要在table4给出个图,说small model的改进版本是larger model的25%的parameters 和FLOPs而获得了更好的性能(注意,这里就不提inference time,只说小模型用iteration number of 3可以比大模型更快,但是你这里获得更好的性能用的是iteration number of 3 吗?),这种拐弯抹角的方式不得不让我怀疑其实是在隐藏这一改进由于inference需要进行iteration会使得inference time翻很多倍的事实:

  • 评价:本身把diffusion和暗图增强这个任务进行了很好的结合,我应该给出很好的评价的。但是对inference time藏着掖着的态度让我又有了点降分。总而言之是一篇很好的文章,个人认为是目前为止看到的用diffusion model做暗图增强做得算好的了,在用diffusion 的框架进行暗图增强的训练的方向上做了一个理论上比较有说服力的工作。

相关推荐
Charles Ray1 分钟前
C++学习笔记 —— 内存分配 new
c++·笔记·学习
重生之我在20年代敲代码2 分钟前
strncpy函数的使用和模拟实现
c语言·开发语言·c++·经验分享·笔记
我要吐泡泡了哦1 小时前
GAMES104:15 游戏引擎的玩法系统基础-学习笔记
笔记·学习·游戏引擎
骑鱼过海的猫1231 小时前
【tomcat】tomcat学习笔记
笔记·学习·tomcat
贾saisai3 小时前
Xilinx系FPGA学习笔记(九)DDR3学习
笔记·学习·fpga开发
北岛寒沫3 小时前
JavaScript(JS)学习笔记 1(简单介绍 注释和输入输出语句 变量 数据类型 运算符 流程控制 数组)
javascript·笔记·学习
烟雨666_java3 小时前
JDBC笔记
笔记
GEEKVIP3 小时前
Android 恢复挑战和解决方案:如何从 Android 设备恢复删除的文件
android·笔记·安全·macos·智能手机·电脑·笔记本电脑
铁匠匠匠5 小时前
从零开始学数据结构系列之第六章《排序简介》
c语言·数据结构·经验分享·笔记·学习·开源·课程设计
Moliay6 小时前
【资料分析】刷题日记2
笔记·公考·行测·常识·资料分析