CVPR DarkIR:低光图像增强与去模糊一体化

论文原文 :https://arxiv.org/pdf/2412.13443

代码:https://github.com/cidautai/DarkIR

即插即用代码仓库:https://github.com/AITricks/AITricks

DarkIR专门解决夜间拍摄最头疼的组合拳问题:"又黑、又噪、又糊"!

现有的 AI 通常只能把照片"提亮",但解决不了因为长曝光带来的运动模糊。DarkIR 提出了一个高效的 CNN 架构,把提亮和去模糊一锅端了。

1️⃣ 核心痛点:夜景不只是"黑"

我们拍夜景时,为了进光量通常会延长曝光时间,结果手一抖,照片就糊了。

传统的低光增强模型只负责提亮,结果是"把模糊的照片变亮了",依然没法看。DarkIR 的目标是:既要亮,又要清晰!

2️⃣ 核心架构:非对称 U-Net

作者没有像 Transformer 那样堆算力,而是设计了一个非对称的 CNN。

编码器 (Encoder):专门负责"开灯"(低光增强)。

解码器 (Decoder):专门负责"修图"(去模糊)。

架构指导损失:中间加了一个 Loss,强制要求编码器输出的一定要是"光照正常"的特征,效率极高。

3️⃣ 提亮魔法:Fre-MLP (频域调色)

它不直接在像素上硬算,而是把图像转到傅里叶频域 。

原理:光照信息主要集中在幅值上。在频域里调整幅值,不仅计算量小,而且能全局性地改善亮度,不会出现局部过曝。

4️⃣ 去糊魔法:Di-SpAM (大感受野)

去模糊需要看清物体运动的轨迹,所以感受野要大。

作者用了空洞卷积并行设计(空洞率 1, 4, 9),相当于给模型装上了广角镜,能捕捉大范围的上下文信息,精准还原清晰边缘。

5️⃣ 实验结果:SOTA 且高效

视觉对比:看对比图非常明显!RetinexFormer 等 SOTA 模型提亮后,文字和边缘依然是重影的;而 DarkIR 恢复出的图像边缘锐利,噪点极少。

效率:参数量仅为 2.8M,比许多 Transformer 模型轻得多,推理速度更快,非常适合部署在手机等端侧设备上。

总结:DarkIR 提供了一个多任务协同的新思路,证明了高效的 CNN 配合频域和空洞卷积!

#计算机视觉 #科研 #深度学习 #提供思路和创新点 #论文 #论文分享 #图像复原 #低光图像增强 #创新点实现 #科研学习

相关推荐
自小吃多1 天前
爬电距离与电气间隙
笔记·嵌入式硬件·硬件工程
半夏知半秋1 天前
rust学习-Option与Result
开发语言·笔记·后端·学习·rust
雍凉明月夜1 天前
深度学习网络笔记Ⅴ(Transformer源码详解)
笔记·深度学习·transformer
week_泽1 天前
小程序云函数全面总结笔记_5
笔记·小程序
wdfk_prog1 天前
[Linux]学习笔记系列 -- [fs]read_write
linux·笔记·学习
别了,李亚普诺夫1 天前
PCB设计学习笔记
笔记·学习
koo3641 天前
pytorch深度学习笔记10
pytorch·笔记·深度学习
FakeOccupational1 天前
【电路笔记 电源模块】MOSFET导通&线性工作条件 + 栅极驱动芯片 + 高压侧N沟道MOS管驱动器
笔记
Bruce_Liuxiaowei1 天前
工作组环境内部信息搜集:从基础查询到权限分析
网络·经验分享·网络安全