CVPR DarkIR:低光图像增强与去模糊一体化

论文原文 :https://arxiv.org/pdf/2412.13443

代码:https://github.com/cidautai/DarkIR

即插即用代码仓库:https://github.com/AITricks/AITricks

DarkIR专门解决夜间拍摄最头疼的组合拳问题:"又黑、又噪、又糊"!

现有的 AI 通常只能把照片"提亮",但解决不了因为长曝光带来的运动模糊。DarkIR 提出了一个高效的 CNN 架构,把提亮和去模糊一锅端了。

1️⃣ 核心痛点:夜景不只是"黑"

我们拍夜景时,为了进光量通常会延长曝光时间,结果手一抖,照片就糊了。

传统的低光增强模型只负责提亮,结果是"把模糊的照片变亮了",依然没法看。DarkIR 的目标是:既要亮,又要清晰!

2️⃣ 核心架构:非对称 U-Net

作者没有像 Transformer 那样堆算力,而是设计了一个非对称的 CNN。

编码器 (Encoder):专门负责"开灯"(低光增强)。

解码器 (Decoder):专门负责"修图"(去模糊)。

架构指导损失:中间加了一个 Loss,强制要求编码器输出的一定要是"光照正常"的特征,效率极高。

3️⃣ 提亮魔法:Fre-MLP (频域调色)

它不直接在像素上硬算,而是把图像转到傅里叶频域 。

原理:光照信息主要集中在幅值上。在频域里调整幅值,不仅计算量小,而且能全局性地改善亮度,不会出现局部过曝。

4️⃣ 去糊魔法:Di-SpAM (大感受野)

去模糊需要看清物体运动的轨迹,所以感受野要大。

作者用了空洞卷积并行设计(空洞率 1, 4, 9),相当于给模型装上了广角镜,能捕捉大范围的上下文信息,精准还原清晰边缘。

5️⃣ 实验结果:SOTA 且高效

视觉对比:看对比图非常明显!RetinexFormer 等 SOTA 模型提亮后,文字和边缘依然是重影的;而 DarkIR 恢复出的图像边缘锐利,噪点极少。

效率:参数量仅为 2.8M,比许多 Transformer 模型轻得多,推理速度更快,非常适合部署在手机等端侧设备上。

总结:DarkIR 提供了一个多任务协同的新思路,证明了高效的 CNN 配合频域和空洞卷积!

#计算机视觉 #科研 #深度学习 #提供思路和创新点 #论文 #论文分享 #图像复原 #低光图像增强 #创新点实现 #科研学习

相关推荐
德思特2 小时前
德思特测试Q&A | 多通道射频测试,如何实现高效分配与自动化调度?
经验分享·多通道射频测试
琳少_5 小时前
java程序开发笔记
java·开发语言·数据库·笔记
爱分享的康康6 小时前
高斯泼溅(3DGS)在 ADAS 仿真中的工程瓶颈与量产落地思路
经验分享
Z21-X8 小时前
云原生运维学习笔记:Kubernetes Volume 与 Secret 实验
运维·笔记·学习·云原生·kubernetes
一只大鸽子9 小时前
游戏开发笔记7-Godot RPG游戏基础-场景切换、全局脚本
笔记·游戏·godot
网安小学生(兼顾数据库版)9 小时前
艾体宝Mend接入CI/CD:如何实现开发流水线的安全左移?
经验分享·艾体宝·艾体宝it·艾体宝mend
狮子座的男孩11 小时前
html+css基础:31、响应式布局(媒体类型,媒体特性,运算符,常用阈值)
前端·css·经验分享·html·响应式布局·媒体类型/特性·常用阈值
吃我一窝jio12 小时前
Docker+Jenkins+K8s全流程部署
java·开发语言·笔记·python
我超膨胀der.12 小时前
关于如何完整转移LABVIEW源码
笔记·labview