图像泊松融合(convpyr_small版本)

一、背景介绍

前面已经讲过泊松融合算法和它的fft快速版本实现了,想看下还有没有更快的版本,继续翻了下论文,找到了更快速的版本:Convolution Pyramids 。

找到它的matlab代码跑了下,效果还不错。学习记录,并用c++复现了下它梯度重建部分相关代码。

二、实现流程

1、基本原理

基本思路为:输入一张散度图像,在多尺度上用训练好的滤波器做卷积,恢复图像亮度信息到泊松重建的效果样子,因此整个流程分为训练和测试两个阶段。

训练阶段:使用散度图作为输入,使用该散度图正常泊松重建后结果作为gt训练,得到需要的滤波器核。

测试阶段:使用散度图和训练好的滤波器核,生成逼近泊松重建效果的结果图像。

2、测试部分

(1). 输入:

a、 训练的滤波器核。kernel=(-0.1820, -0.5007, -0.6373, 0.1767, 0.5589)

b、待重建图像散度div。

(2). 滤波器核拆解

(3). 重建流程

a、对div图像,使用h1进行滤波。

b、滤波后图像下采样(采样方式需要和训练使用采样方式完全一样),并保存残差。

c、迭代a,b步骤,得到残差金字塔。

d、金字塔最底层,使用g进行滤波, 并上采样。

e、倒数第二层残差使用h2进行滤波。

f、d 和e步骤结果叠加。

g、循环d,e,f步骤,金字塔重建得到结果图像。

3、训练部分

(1)、输入:1、一张输入图像。

(2)、设置训练kerenl参数为随机数。

(3) 、计算输入图像散度div。

(4)、迭代训练:

a、对滤波器核拆解。

b、对div图像进行重建。

e、计算重建图像和原始输入图像均值差,迭代更新滤波器。

三、效果对比

将如下图像进行图像散度融合,得到对应散度图信息。

根据散度信息和训练好的滤波器核进行图像重建,得到结果图(左边为本文算法结果,右边为fft版本泊松重建结果):

可以看到融合过度上和泊松版本基本持平,但是需要注意的是本文算法重建之后的图像整理亮度,对比原版泊松效果,会存在轻微差异。

运行时间上:原始版本,处理一张80x40x3的图,花了42秒左右。

fft加速版本,处理一张512x512x3的图,花了大概250ms左右。

convpyr_small版本,处理一张512x512x3的图,花了大概40ms左右。

四、代码地址

包含了论文完整matlab版本和我这边本地复现的c++散度重建部分:

https://github.com/yulinghan/ImageQualityEnhancement/tree/master/image_fusion/convpyr_small_poisson

相关推荐
Tp_jh5 小时前
AMD 395本地部署Qwen3.8-Flash-Next实测,端侧AGI时代也要来了
图像处理·人工智能·opencv·语言模型·自然语言处理·千问
PixelBai15 小时前
图片批量压缩怎么做?本地处理 + 实时对比的前端实现思路与工具推荐
图像处理
这张生成的图像能检测吗17 小时前
(论文速读)FiDeSR:高保真保细节一步扩散超分辨率
图像处理·人工智能·深度学习·计算机视觉·扩散模型·图像超分
刘广睿19 小时前
视频抽帧做图文笔记:帧选择策略与自动化封面挑选
图像处理·音视频·短视频·效率工具·python3.11
Evand J2 天前
【MATLAB例程,图像滤波降噪12】加权中值滑动窗口滤波(WMF)图像降噪,包含滤波质量评价。附代码下载链接
开发语言·图像处理·人工智能·计算机视觉·matlab·滑动窗口·滤波
Evand J2 天前
【MATLAB例程,图像降噪7】高斯加权滑动窗口滤波,用于图像降噪,带质量评价,附代码下载链接
开发语言·图像处理·matlab·滑动窗口·滤波·降噪·图像滤波
matlab代码2 天前
基于matlab阈值分割的车牌识别系统【源码75期】
图像处理·opencv·计算机视觉
matlab代码2 天前
基于matlab多尺度形态学提取眼前节组织【源码73期】
图像处理·人工智能·计算机视觉
2601_962293534 天前
第3.7章 机器人第三方库实战总结(七):OpenCV视觉SLAM核心库详解:API速查+源码实例+避坑指南
图像处理·opencv·计算机视觉·slam·第三方库
matlab代码4 天前
基于数字图像处理的表面缺陷检测设计(点线面)【源码70期】
图像处理·opencv·计算机视觉