图像泊松融合(convpyr_small版本)

一、背景介绍

前面已经讲过泊松融合算法和它的fft快速版本实现了,想看下还有没有更快的版本,继续翻了下论文,找到了更快速的版本:Convolution Pyramids 。

找到它的matlab代码跑了下,效果还不错。学习记录,并用c++复现了下它梯度重建部分相关代码。

二、实现流程

1、基本原理

基本思路为:输入一张散度图像,在多尺度上用训练好的滤波器做卷积,恢复图像亮度信息到泊松重建的效果样子,因此整个流程分为训练和测试两个阶段。

训练阶段:使用散度图作为输入,使用该散度图正常泊松重建后结果作为gt训练,得到需要的滤波器核。

测试阶段:使用散度图和训练好的滤波器核,生成逼近泊松重建效果的结果图像。

2、测试部分

(1). 输入:

a、 训练的滤波器核。kernel=(-0.1820, -0.5007, -0.6373, 0.1767, 0.5589)

b、待重建图像散度div。

(2). 滤波器核拆解

(3). 重建流程

a、对div图像,使用h1进行滤波。

b、滤波后图像下采样(采样方式需要和训练使用采样方式完全一样),并保存残差。

c、迭代a,b步骤,得到残差金字塔。

d、金字塔最底层,使用g进行滤波, 并上采样。

e、倒数第二层残差使用h2进行滤波。

f、d 和e步骤结果叠加。

g、循环d,e,f步骤,金字塔重建得到结果图像。

3、训练部分

(1)、输入:1、一张输入图像。

(2)、设置训练kerenl参数为随机数。

(3) 、计算输入图像散度div。

(4)、迭代训练:

a、对滤波器核拆解。

b、对div图像进行重建。

e、计算重建图像和原始输入图像均值差,迭代更新滤波器。

三、效果对比

将如下图像进行图像散度融合,得到对应散度图信息。

根据散度信息和训练好的滤波器核进行图像重建,得到结果图(左边为本文算法结果,右边为fft版本泊松重建结果):

可以看到融合过度上和泊松版本基本持平,但是需要注意的是本文算法重建之后的图像整理亮度,对比原版泊松效果,会存在轻微差异。

运行时间上:原始版本,处理一张80x40x3的图,花了42秒左右。

fft加速版本,处理一张512x512x3的图,花了大概250ms左右。

convpyr_small版本,处理一张512x512x3的图,花了大概40ms左右。

四、代码地址

包含了论文完整matlab版本和我这边本地复现的c++散度重建部分:

https://github.com/yulinghan/ImageQualityEnhancement/tree/master/image_fusion/convpyr_small_poisson

相关推荐
2401_841495642 天前
【计算机视觉】分水岭实现医学诊断
图像处理·人工智能·python·算法·计算机视觉·分水岭算法·医学ct图像分割
格林威2 天前
常规可见光相机在工业视觉检测中的应用
图像处理·人工智能·数码相机·计算机视觉·视觉检测
扶尔魔ocy2 天前
【QT常用技术讲解】multimedia实现指定分辨率打开摄像头
图像处理·qt
格林威2 天前
工业视觉检测里的 “柔性” 是什么?
图像处理·人工智能·深度学习·yolo·计算机视觉·视觉检测
格林威2 天前
不同光谱的工业相机有哪些?能做什么?
图像处理·人工智能·深度学习·数码相机·计算机视觉·视觉检测
CiLerLinux2 天前
第三十八章 ESP32S3 SPIFFS 实验
图像处理·人工智能·单片机·嵌入式硬件
要做朋鱼燕2 天前
【OpenCV】图像处理入门:从基础到实战技巧
图像处理·人工智能·opencv
不枯石3 天前
Matlab通过GUI实现点云的随机一致性(RANSAC)配准
开发语言·图像处理·算法·计算机视觉·matlab
那雨倾城3 天前
PiscCode:基于OpenCV的前景物体检测
图像处理·python·opencv·计算机视觉
CiLerLinux3 天前
第三十五章 ESP32S3 摄像头实验
图像处理·人工智能·计算机视觉