曝光融合(Exposure Fusion)

一、背景介绍

图像融合算法里面,hdr图像进行融合,拓宽动态范围的操作非常常见。

常用的hdr融合算法通常有两类:

1、不同曝光的ldr图像先进行hdr融合,得到高bit位的hdr图像,再通过tonemaping算法得到结果如图像。

2、不同曝光的ldr图像,直接融合生成期望的结果图像,不需要高bit的hdr中间结果和tonemapping相关操作。

本篇主要是对第二类方法之exposure fusion 的简单实现和记录。

二、实现流程

1、基本原理

对输入的不同曝光ldr图像,通过各自的亮度/对比度/饱和度信息,生成对应帧融合权重,再通过金字塔融合,直接得到hdr结果图像。

详细信息的话,小伙伴们可以参考:Exposure Fusion_Adagrad的博客-CSDN博客

2、代码流程

a、拿到ldr输入输入图像:

b、利用拉普拉斯滤波,计算图像对比度权重:

如上图,纹理信息越丰富区域,权重越高。

但是实际上,这种方式得到的对比度权重其实并不太好,因为这里的边缘纹理太细了,对于区域融合来说,这种细散的纹理状态,对融合权重的贡献并不友好,并还可能导致结果图像出现边缘异常之类情况。

可以尝试加入多尺度融合或者说使用更复杂一些的对比度检测,将丰富纹理区域更突显一些。不过这些我这里就不拓展了,有兴趣的大佬们自己折腾吧。

c、根据每个像素r/g/b标准差,得到图像饱和度权重:

可以看到,饱和度越高的区域,对应权重越大,比如天空位置,最亮帧完全没有权重,最暗帧上权重最大。

但是实际上来说,这里用r/g/b标准差来计算图像饱和度方式,权重表现并不特别好,并且复杂度太高了。

rgb图像饱和度计算有个特别简单的办法:每个像素上r/g/b里面最大值-最小值,取绝对值的结果,就可以是当前图像饱和度。

d、根据公式:

得到图像对应的亮度权重。基本原理来说就是图像像素越接近128,表示图像越不可能死黑或者过曝,相应的它权重也就越高。

但是该亮度权重计算其实也有缺陷,会导致图像融合时候,整体动态范围趋势趋向靠近128中间灰度,容易导致部分场景的亮区或者暗区出现对比度发蒙的情况。

另外,这个权重公式没有考虑到暗帧过曝的情况,假设某个区域暗帧也完全过曝,那么会导致这个过曝区域的权重直接跑飞,因为所有帧上这个区域的融合权重都会是0。

e、根据公式:

将三个权重合并,得到最终权重结果(我这里设置Wc,Ws,We都为1)。

f、根据生成的融合权重,使用金字塔融合,得到hdr融合结果图像。

这一步也有问题,因为对不同ev的ldr图像用金字塔做图像融合,会有个大缺陷:结果图像上在高光和死黑区域会数据溢出,如果直接截断保存,就会导致结果图像出现高光过曝或者暗区死黑。

如下图可以看到,直接截断的结果图上,天空区域这些的地方已经完全过曝了。

要避免这个问题,要么直接换成alpha之类融合算法代替,要么对金字塔融合结果就不要直接截断,而且完整数据保存,然后对金字塔融合图像,再做一次轻量的tonemaping之类操作,得到最终结果。

最终表现如下图所示:

从左往右依次为:最暗帧,金字塔融合直接截断保存结果,金字塔融合+tonemaping处理结果。

三、复现代码

参考论文的简单复现代码地址:

https://github.com/yulinghan/ImageQualityEnhancement/tree/master/fusion/exposure_fusion

相关推荐
Microvision维视智造1 分钟前
从“人工眼”到‘智能眼’:EZ-Vision视觉系统如何重构生产线视觉检测精度?
图像处理·人工智能·重构·视觉检测
巫婆理发22211 分钟前
神经网络(多层感知机)(第二课第二周)
人工智能·深度学习·神经网络
lxmyzzs15 分钟前
【打怪升级 - 03】YOLO11/YOLO12/YOLOv10/YOLOv8 完全指南:从理论到代码实战,新手入门必看教程
人工智能·神经网络·yolo·目标检测·计算机视觉
SEO_juper16 分钟前
企业级 AI 工具选型报告:9 个技术平台的 ROI 对比与部署策略
人工智能·搜索引擎·百度·llm·工具·geo·数字营销
Coovally AI模型快速验证28 分钟前
数据集分享 | 智慧农业实战数据集精选
人工智能·算法·目标检测·机器学习·计算机视觉·目标跟踪·无人机
xw337340956429 分钟前
彩色转灰度的核心逻辑:三种经典方法及原理对比
人工智能·python·深度学习·opencv·计算机视觉
蓝桉80230 分钟前
opencv学习(图像金字塔)
人工智能·opencv·学习
倔强青铜三33 分钟前
为什么 self 与 super() 成了 Python 的永恒痛点?
人工智能·python·面试
墨尘游子36 分钟前
目标导向的强化学习:问题定义与 HER 算法详解—强化学习(19)
人工智能·python·算法
go54631584651 小时前
中文语音识别与偏误检测系统开发
开发语言·人工智能·学习·生成对抗网络·数学建模·语音识别