曝光融合(Exposure Fusion)

一、背景介绍

图像融合算法里面,hdr图像进行融合,拓宽动态范围的操作非常常见。

常用的hdr融合算法通常有两类:

1、不同曝光的ldr图像先进行hdr融合,得到高bit位的hdr图像,再通过tonemaping算法得到结果如图像。

2、不同曝光的ldr图像,直接融合生成期望的结果图像,不需要高bit的hdr中间结果和tonemapping相关操作。

本篇主要是对第二类方法之exposure fusion 的简单实现和记录。

二、实现流程

1、基本原理

对输入的不同曝光ldr图像,通过各自的亮度/对比度/饱和度信息,生成对应帧融合权重,再通过金字塔融合,直接得到hdr结果图像。

详细信息的话,小伙伴们可以参考:Exposure Fusion_Adagrad的博客-CSDN博客

2、代码流程

a、拿到ldr输入输入图像:

b、利用拉普拉斯滤波,计算图像对比度权重:

如上图,纹理信息越丰富区域,权重越高。

但是实际上,这种方式得到的对比度权重其实并不太好,因为这里的边缘纹理太细了,对于区域融合来说,这种细散的纹理状态,对融合权重的贡献并不友好,并还可能导致结果图像出现边缘异常之类情况。

可以尝试加入多尺度融合或者说使用更复杂一些的对比度检测,将丰富纹理区域更突显一些。不过这些我这里就不拓展了,有兴趣的大佬们自己折腾吧。

c、根据每个像素r/g/b标准差,得到图像饱和度权重:

可以看到,饱和度越高的区域,对应权重越大,比如天空位置,最亮帧完全没有权重,最暗帧上权重最大。

但是实际上来说,这里用r/g/b标准差来计算图像饱和度方式,权重表现并不特别好,并且复杂度太高了。

rgb图像饱和度计算有个特别简单的办法:每个像素上r/g/b里面最大值-最小值,取绝对值的结果,就可以是当前图像饱和度。

d、根据公式:

得到图像对应的亮度权重。基本原理来说就是图像像素越接近128,表示图像越不可能死黑或者过曝,相应的它权重也就越高。

但是该亮度权重计算其实也有缺陷,会导致图像融合时候,整体动态范围趋势趋向靠近128中间灰度,容易导致部分场景的亮区或者暗区出现对比度发蒙的情况。

另外,这个权重公式没有考虑到暗帧过曝的情况,假设某个区域暗帧也完全过曝,那么会导致这个过曝区域的权重直接跑飞,因为所有帧上这个区域的融合权重都会是0。

e、根据公式:

将三个权重合并,得到最终权重结果(我这里设置Wc,Ws,We都为1)。

f、根据生成的融合权重,使用金字塔融合,得到hdr融合结果图像。

这一步也有问题,因为对不同ev的ldr图像用金字塔做图像融合,会有个大缺陷:结果图像上在高光和死黑区域会数据溢出,如果直接截断保存,就会导致结果图像出现高光过曝或者暗区死黑。

如下图可以看到,直接截断的结果图上,天空区域这些的地方已经完全过曝了。

要避免这个问题,要么直接换成alpha之类融合算法代替,要么对金字塔融合结果就不要直接截断,而且完整数据保存,然后对金字塔融合图像,再做一次轻量的tonemaping之类操作,得到最终结果。

最终表现如下图所示:

从左往右依次为:最暗帧,金字塔融合直接截断保存结果,金字塔融合+tonemaping处理结果。

三、复现代码

参考论文的简单复现代码地址:

https://github.com/yulinghan/ImageQualityEnhancement/tree/master/fusion/exposure_fusion

相关推荐
牛客企业服务几秒前
2025年AI面试推荐榜单,数字化招聘转型优选
人工智能·python·算法·面试·职场和发展·金融·求职招聘
视觉语言导航31 分钟前
RAL-2025 | 清华大学数字孪生驱动的机器人视觉导航!VR-Robo:面向视觉机器人导航与运动的现实-模拟-现实框架
人工智能·深度学习·机器人·具身智能
**梯度已爆炸**41 分钟前
自然语言处理入门
人工智能·自然语言处理
ctrlworks1 小时前
楼宇自控核心功能:实时监控设备运行,快速诊断故障,赋能设备寿命延长
人工智能·ba系统厂商·楼宇自控系统厂家·ibms系统厂家·建筑管理系统厂家·能耗监测系统厂家
BFT白芙堂2 小时前
睿尔曼系列机器人——以创新驱动未来,重塑智能协作新生态(上)
人工智能·机器学习·机器人·协作机器人·复合机器人·睿尔曼机器人
aneasystone本尊2 小时前
使用 MCP 让 Claude Code 集成外部工具
人工智能
静心问道2 小时前
SEW:无监督预训练在语音识别中的性能-效率权衡
人工智能·语音识别
羊小猪~~2 小时前
【NLP入门系列五】中文文本分类案例
人工智能·深度学习·考研·机器学习·自然语言处理·分类·数据挖掘
xwz小王子2 小时前
从LLM到WM:大语言模型如何进化成具身世界模型?
人工智能·语言模型·自然语言处理
我爱一条柴ya2 小时前
【AI大模型】深入理解 Transformer 架构:自然语言处理的革命引擎
人工智能·ai·ai作画·ai编程·ai写作