论文笔记: Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation

文章目录

Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation

论文链接: https://openaccess.thecvf.com/content/CVPR2024/html/Du_Boosting_Object_Detection_with_Zero-Shot_Day-Night_Domain_Adaptation_CVPR_2024_paper.html

代码链接: https://github.com/ZPDu/DAI-Net

论文中的知识补充

主要包含没有了解的论文中提到的知识(相关工作/知识盲区)

Retinex

Retinex是一种常用的建立在科学实验室和科学分析基础上的图像增强方法。Retinex理论的基础理论是物体的颜色是由物体对长波(红色)、中波(绿色)、短波(蓝色)光线的反射决定的,而不是由反射光强度的绝对值来决定的,物体的色彩不受光照非均匀性的影响,即具有一致性,即Retinex是以色感一致性为基础的。

动机

现状

  • 在弱光场景下检测物体是一个持久的挑战,因为在强光数据上训练的检测器在弱光上表现出显著的性能下降,这是由于能见度造成的。
  • 以前的方法通过探索图像增强或使用真实弱光图像数据集的目标检测技术来缓解这个问题。

问题

  • 收集和标注弱光图像的固有困难阻碍了进展。

贡献

  • 利用zero-shot昼夜域自适应来增强弱光目标检测,旨在将检测器从强光场景推广到弱光场景,而无需真实的弱光数据。
  • 设计了一个反射率表示学习模块,以学习模块基于Retinex的图像照明不变性,并采用精心设计的照明不变性强化策略。
  • 引入了交互式重分解一致性过程来改进原始Retinex图像分解过程,方法是执行两次连续的图像分别并引入重分解一致性损失。

方法

  • 利用一个受物理启发的低照度合成管道来生成合成的低光图像,并与原始良好照明图像形成配对。
  • 重新审视了低级视觉中的Retinex理论用于高级检测任务,通过将低光图像分解为域不变和域特定信息,其中只有前者应保留以学习可泛化的检测器。因此在已建立的目标检测管道的基础上构建了DAI-Net。
  • 提出了一种反射率表示学习模块作为额外的解码器。此模块从良好照明图像和合成低光图像中解码与反射率相关的照度不变信息。它通过预先训练的Retinex分解网络产生的伪真实值进行优化,并通过专门设计的照度不变强化策略进行强化。
  • 设计了一种交换-重分解-一致性程序来改进基于Retinex的图像分解过程。它通过交换分解后的良好照明/低光反射率来重建图像,然后重新分解它们,依次执行两次图像分解。引入了重分解一致性损失,以促进两次分解中产生的反射率之间的一致性,从而学习到的反射率表示稳定且准确。

模型结构:

相关推荐
强化学习与机器人控制仿真31 分钟前
字节最新开源模型 DA3(Depth Anything 3)使用教程(一)从任意视角恢复视觉空间
人工智能·深度学习·神经网络·opencv·算法·目标检测·计算机视觉
2501_941145852 小时前
深度学习与计算机视觉在工业质检与智能检测系统中的创新应用研究
人工智能·深度学习·计算机视觉
努力的光头强3 小时前
《智能体设计模式》从零基础入门到精通,看这一篇就够了!
大数据·人工智能·深度学习·microsoft·机器学习·设计模式·ai
没头脑的男大3 小时前
Unet+Transformer脑肿瘤分割检测
人工智能·深度学习·transformer
AI即插即用3 小时前
即插即用涨点系列(十四)2025 SOTA | Efficient ViM:基于“隐状态混合SSD”与“多阶段融合”的轻量级视觉 Mamba 新标杆
人工智能·pytorch·深度学习·计算机视觉·视觉检测·transformer
minhuan5 小时前
构建AI智能体:九十五、YOLO视觉大模型入门指南:从零开始掌握目标检测
人工智能·yolo·目标检测·计算机视觉·视觉大模型
哥布林学者5 小时前
吴恩达深度学习课程二: 改善深层神经网络 第三周:超参数调整,批量标准化和编程框架(四)编程框架
深度学习·ai
brave and determined7 小时前
可编程逻辑器件学习(day24):异构计算:突破算力瓶颈的未来之路
人工智能·嵌入式硬件·深度学习·学习·算法·fpga·asic
nju_spy8 小时前
论文阅读 - 深度学习端到端解决库存管理问题 - 有限时间范围内的多周期补货问题(Management Science)
人工智能·深度学习·动态规划·端到端·库存管理·两阶段pto·多周期补货问题
u***j3248 小时前
深度学习实践
人工智能·深度学习