CVPR DarkIR:低光图像增强与去模糊一体化

论文原文 :https://arxiv.org/pdf/2412.13443

代码:https://github.com/cidautai/DarkIR

即插即用代码仓库:https://github.com/AITricks/AITricks

DarkIR专门解决夜间拍摄最头疼的组合拳问题:"又黑、又噪、又糊"!

现有的 AI 通常只能把照片"提亮",但解决不了因为长曝光带来的运动模糊。DarkIR 提出了一个高效的 CNN 架构,把提亮和去模糊一锅端了。

1️⃣ 核心痛点:夜景不只是"黑"

我们拍夜景时,为了进光量通常会延长曝光时间,结果手一抖,照片就糊了。

传统的低光增强模型只负责提亮,结果是"把模糊的照片变亮了",依然没法看。DarkIR 的目标是:既要亮,又要清晰!

2️⃣ 核心架构:非对称 U-Net

作者没有像 Transformer 那样堆算力,而是设计了一个非对称的 CNN。

编码器 (Encoder):专门负责"开灯"(低光增强)。

解码器 (Decoder):专门负责"修图"(去模糊)。

架构指导损失:中间加了一个 Loss,强制要求编码器输出的一定要是"光照正常"的特征,效率极高。

3️⃣ 提亮魔法:Fre-MLP (频域调色)

它不直接在像素上硬算,而是把图像转到傅里叶频域 。

原理:光照信息主要集中在幅值上。在频域里调整幅值,不仅计算量小,而且能全局性地改善亮度,不会出现局部过曝。

4️⃣ 去糊魔法:Di-SpAM (大感受野)

去模糊需要看清物体运动的轨迹,所以感受野要大。

作者用了空洞卷积并行设计(空洞率 1, 4, 9),相当于给模型装上了广角镜,能捕捉大范围的上下文信息,精准还原清晰边缘。

5️⃣ 实验结果:SOTA 且高效

视觉对比:看对比图非常明显!RetinexFormer 等 SOTA 模型提亮后,文字和边缘依然是重影的;而 DarkIR 恢复出的图像边缘锐利,噪点极少。

效率:参数量仅为 2.8M,比许多 Transformer 模型轻得多,推理速度更快,非常适合部署在手机等端侧设备上。

总结:DarkIR 提供了一个多任务协同的新思路,证明了高效的 CNN 配合频域和空洞卷积!

#计算机视觉 #科研 #深度学习 #提供思路和创新点 #论文 #论文分享 #图像复原 #低光图像增强 #创新点实现 #科研学习

相关推荐
奥特曼_ it18 小时前
【数据分析+机器学习】基于机器学习的招聘数据分析可视化预测推荐系统(完整系统源码+数据库+开发笔记+详细部署教程)✅
笔记·数据挖掘·数据分析
四维碎片19 小时前
QSettings + INI 笔记
笔记·qt·算法
zzcufo20 小时前
多邻国第5阶段17-18学习笔记
笔记·学习
BlackWolfSky20 小时前
鸿蒙中级课程笔记4—应用程序框架进阶1—Stage模型应用组成结构、UIAbility启动模式、启动应用内UIAbility
笔记·华为·harmonyos
中屹指纹浏览器20 小时前
指纹浏览器性能优化实操——多实例并发与资源占用管控
经验分享·笔记
了一梨21 小时前
SQLite3学习笔记5:INSERT(写)+ SELECT(读)数据(C API)
笔记·学习·sqlite
jrlong1 天前
DataWhale大模型基础与量化微调task5学习笔记(第 3 章:大模型训练与量化_模型量化实战)
笔记·学习
Sarvartha1 天前
Routing(路由与分支)学习笔记
笔记·学习
Yu_Lijing1 天前
《图解HTTP》笔记与读后感(上)
网络·笔记·网络协议·http
Gain_chance1 天前
23-学习笔记尚硅谷数仓搭建-ODS层业务全量表、增量表结构设计及数据装载脚本
数据仓库·hive·笔记·学习