系列文章目录
文章目录
- 系列文章目录
- 前言
- 摘要
- [1 引言](#1 引言)
- [2. 空间域过滤](#2. 空间域过滤)
- 3.变换域滤波
-
- 3.1.阈值
-
- [3.1.1. 通用阈值](#3.1.1. 通用阈值)
- [3.1.2. VISUShrink](#3.1.2. VISUShrink)
- 3.1.3.SURE收缩
- 3.1.4.BayesShrink
- 3.1.5.概率收缩
- 3.1.6.SURELET
- [3.1.7.Neigh Shrink Sure(NSS)](#3.1.7.Neigh Shrink Sure(NSS))
- 3.1.8.块收缩
- [3.2.BLS-GSM(Bayesian Least Square Gaussian Scale Mixtures)](#3.2.BLS-GSM(Bayesian Least Square Gaussian Scale Mixtures))
- [3.3. BM3D (Block Matching 3-D collaborative filtering)](#3.3. BM3D (Block Matching 3-D collaborative filtering))
- 4.其他领域的方法
- 5.混合去噪技术
- 6.稀疏表示和字典学习方法
- 7.图像去噪的最新趋势
- 8.图像去噪的应用
- 9.实验装置
- 10.结论
前言
如果下不了可以这里取 https://download.csdn.net/download/m0_70420861/89700112
推荐博客
NR基础篇上------均值滤波、高斯滤波、双边滤波、NLM
NR基础篇下------中值滤波、多级中值滤波、多级中值混合滤波、加权中值滤波、中值有理滤波
这个还有对应视频讲解
摘要
在统计分析和泛函分析的交叉点上,人们一直在寻求一种有效的图像去噪算法。在灰度成像方面,大量的去噪算法已经在文献中被记录,尽管这些算法的功能水平仍然保持裕度以获得期望的适用性水平。影响图像像素的噪声往往是高斯性质的,并且均匀地影响图像中的信息像素。基于一些特定的假设,所有的方法都是最佳的,但是它们往往会产生伪影,并在一般条件下删除精细的结构细节。本文重点对去噪领域的一些重要工作进行了分类和比较。
1 引言
由于各种记录设备固有的物理限制,图像在图像采集期间变得易于表现出一些随机噪声。噪声可以理解为一种基本的信号失真,它阻碍了图像的观察和信息提取过程。图像噪声的抑制是图像分析和处理的基本基础,因此在图像去噪领域取得的任何进展都有助于加强我们对基本图像统计和处理的理解[1]。
随着在恶劣的大气/光照条件下捕获的数字图像的大量增加,图像恢复方法已经成为当今计算机辅助分析时代不可或缺的工具。从在不同种类的图像中流行的众多类型的噪声中**,加性白色高斯噪声(AWGN)、脉冲噪声(盐和胡椒)、量化噪声、泊松噪声和斑点噪声**是文献中最常讨论的噪声[2]。AWGN主要发生在图像采集和传输期间的模拟电路中。其他类型的噪声(诸如量化噪声、脉冲噪声、斑点噪声和泊松噪声)的流行主要是由于图像采集期间的制造缺陷、比特误差和光子计数不足而发生的。
有各种各样的数字图像可供使用,这些图像在不同的应用领域提供有价值的信息,如医学成像,遥感,军事和监视,机器人和人工智能。这些图像的污染必然会破坏图像的可解释性。因此,图像去噪方法在医学成像、遥感、军事和监控、生物识别和取证、工业和农业自动化等领域有着广泛的应用。
1.1.噪声抑制
数字形式的图像可以被假设为以灰度级或彩色像素强度值作为其元素的矩阵的编码形式。当然,在视频的情况下,该矩阵具有时间的第三维度 。在灰度图像的情况下,其可以被称为二维信号,即(x,u(x)),其中u(x)是位置x处的像素强度值 。在彩色图像中,值u(x)假定红色、绿色和蓝色分量中的每一个的值的三元组。为了保持简单性,除了简要提及颜色域中的去噪之外,本综述将仍然限于灰度图像[1,8]。选择用于基本的初级灰度图像去噪的方法可以显式地插值到彩色图像和三维视频。以有序的方式,图像噪声模型可以粗略地近似为:
其中u(x)表示真实信号值,n(x)表示位置x处的噪声。噪声在本质上可以是加性的或乘性的。大多数情况下,它被发现是独立和同分布的,平均值和标准差为零。在CCD(电荷耦合器件)相机中,由于光子计数不足(光子噪声),电子电路中可能存在噪声(热噪声),或者它可能是量化噪声。然而,AWGN是实时应用中最常见的噪声,因此AWGN模型是本文的主要重点。
图像是一种极其有趣的数据形式,它包括多个实体,例如由像素强度灰度值逐渐变化而产生的平滑同质区域、边缘、轮廓和尖峰。低强度像素值对于确定图像中物体的整体形状和构成很重要,而高强度像素值或图像像素强度值的高水平变化则形成边缘和特征 。精细的特征细节和边缘对于更高层次的信息分析、理解和提取具有重要意义。噪声的随机出现会不可逆转地破坏这些有价值的像素信息[9,10]。
在过去的二十年里,研究人员不断发展有效的去噪算法,旨在从失真的图像中恢复合理的估计,同时保留精细的特征和边缘。由于图像采集设备的技术复杂程度不断提高,数字传感器往往会提高像素分辨率;然而,在孔径尺寸相似的情况下,这些传感器更容易受到噪声的影响,这使得图像去噪算法的作用更加重要。面向软件的方法大多与设备无关,因此与硬件和光学系统相比被广泛采用[3]。
在探索和利用数字信号处理理论和工具的同时,研究人员已经尝试了各种不同的数学科学工具,以构建一种算法来去除噪声,同时保持尽可能多的特征细节。存在许多源自不同学科的去噪方法,如谱和多分辨率分析、偏微分方程、概率论和统计学等。根据去噪算法的类型,它们可以被广泛地称为:空间域滤波、变换域阈值、随机场、统计模型、各向异性扩散方法、字典学习方法和混合方法[4]。除此之外,其他主要的去噪措施包括空间自适应滤波器,各种统计估计器,随机分析,形态分析和顺序统计[5]。
原始和完善的空间域方法包括局部和非局部滤波器,其利用图像的像素或块之间的相似性 。基于字典学习的方法和变换域方法都考虑将图像变换到频域,在频域中利用变换系数的相似性和相异性 。它们之间的区别在于变换域方法应用固定的基函数来表示图像 ,而基于学习的方法使用冗余字典上的稀疏表示[6,7]。在这篇文章中,已作出尝试,以缩短层次布局的发展和建立的各种去噪方案的情况下,去除加性白色高斯噪声从基本平均的像素在附近的更复杂的混合技术。各种图像去噪方法的广泛分类在图1中给出。
本文的结构如下:·第2节介绍了各种空间域滤波方法。·第3节讨论了变换域方法和各种阈值处理方案。其他领域的方法,包括基于统计和概率分布的方法,将在第4节中讨论。·第5节讨论了几种混合域方法。稀疏表示和字典学习方法将在第6节中讨论。第7节和第8节分别介绍了图像去噪的最新趋势和应用。·第9节需要评估各种最先进方法的实验设置。·文章在第10节结束。
Fig. 1.图像去噪方法的分类。
2. 空间域过滤
理想情况下,人们认为滤波是图像噪声去除的最重要的解决方案,即抑制像素强度值中不想要的变化。实际上,信号滤波是基本图像处理的基础,并且长期以来一直应用于平滑、锐化、边缘检测和对比度增强 。在空间域中的算法中,为了对单个块进行去噪,利用像素候选者之间的相关性 。在空间域中,直接对图像矩阵进行一组操作,而在变换域滤波的情况下,首先将图像矩阵映射到相应的变换系数,然后进一步进行阈值化。根据在滤波过程中使用的像素候选的选择方式,滤波器可以被分类为局部滤波器和非局部滤波器。图像去噪算法的基本原理是像素之间的噪声不相关,而真实信号像素强度彼此相关[1,8,11]。
2.1.局部滤波器
如果用于对像素进行去噪的滤波器支持受到空间距离的限制,则滤波器被认为是局部的 。非局部滤波器利用图像中整个像素范围之间的相关性 。为降噪而设计的流行局部滤波器有高斯滤波器、最小均方滤波器、双边滤波器、韦纳滤波器、SUSAN滤波器、各向异性扩散滤波器、秩滤波器、指导核回归(SKR)、度量指导核回归和训练滤波器[6] 。线性平移不变滤波的最简单类型是平均或均值或框滤波,其在每个像素处生成输出作为给定窗口中相邻像素的平均值。这些线性滤波器倾向于将图像矩阵与滤波器掩码卷积以生成邻域值的线性扩展。这种类型的空间滤波是噪声去除的最原始和最简单的形式,然而它们通常会产生不期望的边缘平滑量,不良的特征定位和细节丢失[1,6,8]。图2描绘了基本平均滤波器的布局。
选择窗口大小:首先,确定一个窗口(或邻域)的大小,这个窗口将用于后续的平均计算。窗口的大小直接影响去噪效果,较小的窗口可能保留更多细节但去噪效果较弱,而较大的窗口则可能去除更多噪声但细节损失较大。
平均邻近像素:在选定的窗口内,计算所有像素值的平均值。这一步骤通过将所有像素值相加后除以像素总数来实现,旨在平滑图像中的噪声。
替换中心像素:将计算得到的平均值替换窗口中心位置的像素值。这一操作是图像去噪的核心,通过局部平均来减少随机噪声的影响。
平移窗口并重复:将窗口在图像上平移,重复上述平均和替换操作,直到处理完图像中的所有像素。这一步骤确保了整个图像都能得到去噪处理。
见图2。平均滤波器的基本方法
其他类型的线性滤波方法包括高斯滤波器(GF)[12]和维纳滤波器[13,14],这些方法不使用相邻像素的平均值 。维纳滤波器是一类最优线性滤波器,涉及从另一个相关序列中进行所需信号序列的线性估计。高斯滤波器是典型的线性滤波器,属于局部滤波器的范畴,具有各向同性的特点,并且长期以来一直应用于图像去噪。高斯滤波在文献中具有特别重要的意义,因为高斯函数的傅里叶变换是实数,且其形状易于指定。高斯滤波器总是假设邻域内的像素是均匀的,并且具有平滑的空间变化。然而,在高斯滤波器中,权重随着距离中心的增加而衰减,导致边缘模糊。大多数局部去噪滤波器主要是对高斯滤波的改进,自那时以来已被提出,以提供更好的边缘保持能力[6]。这些线性时不变(LTI)滤波器虽然构成了简单且时间效率高的解决方案,但往往会去除对图像分析至关重要的重要结构信息和边缘细节。因此,为了以改进和创新思想的方式解决其局限性,已经提出了各种其他非线性滤波器。古老的中值滤波[8,15]、加权中值滤波[16]和秩滤波[17]是非线性滤波器的基本且最微不足道的例子,这些滤波器已在文献中正式开发和记录。在中值滤波中,根据亮度(强度)对相邻像素进行排序,中值成为中心像素的新值。
高斯滤波 like Gaussian filter
高斯滤波一般针对的是高斯噪声,能够很好的抑制图像输入时随机引入的噪声 ,将像素点跟邻域像素看作是一种高斯分布的关系 ,它的操作是将图像和一个高斯核进行卷积 操作:
参考博文 https://blog.csdn.net/m0_70420861/article/details/136760654
高斯滤波是空域滤波器,高斯高通和低通是频域滤波器
为了保持边缘、图像细节、图像几何形状并克服高斯模糊,提出了各向异性扩散滤波(ADF),其思想可追溯到Perona和Malik(PM)[18]。ADF内插高斯滤波,通过仅在与梯度Du(x)正交的方向上卷积x处的图像u。更简单地说,ADF是求解二阶偏微分方程的各向异性热方程的过程。这是一个非线性扩散过程,提出这一过程是为了克服线性扩散滤波造成的模糊和定位不良问题[19,20]。
ADF是一种边缘保持图像去噪算法,其应用非均匀过程以减少边缘位置处的扩散性,并在均匀区域或具有轻微强度变化的区域中执行扩散过程。由Perona和Malik给出的修正热方程(AD)采用以下形式[21]:
其中,是在实例s处获得的图像,div是发散运算符,dv是梯度运算符,并且h(.)𝑦𝑥𝑢𝑠𝑢是扩散系数或边停止函数。扩散系数h(μ u)是局部图像梯度。扩散量的大小与梯度值或边缘成反比。在同质或均匀区域内,梯度值很小,因此h(Hu)接近1,因此去除或平滑均匀区域,而在边缘或边界附近的情况下,扩散系数接近零,因此保留边缘[21]。扩散系数可以采用以下两种形式之一:
h(.)是正的非增函数,r是控制去噪量的对比度参数或梯度模量阈值。扩散系数充当典型的边缘停止函数,其假定边缘或梯度周围为零值。
它是一种典型的非线性特征保持去噪算法,是解决成像伪影问题的独立技术。根据Dogra等人[22],可以通过各向异性扩散滤波有效地去除伪影(尤其是在医疗诊断的情况下)的流行,这些伪影可以掩盖图像解释。
自Perona和Malik引入以来,已有大量文献提出了许多基于PDE的各向异性模型,这些模型提供了各种修改,以获得稳态解并解决阶梯效应问题[23-30]。阶梯效应在图像中呈现视觉上不愉快的伪像显示,并且经常作为假边缘而困扰。例如,Qui等人提出了一种鲁棒的脊检测器,基于非局部导数的特征保留扩散滤波过程[31]。除此之外,在[32]中,Catte等人提出了一种基于每次迭代之前预去噪的高斯滤波技术作为修改的PM模型。高阶偏微分方程也被科学家们所探索,并被证明是有效的最小化楼梯效应。一些工作也使用四阶偏微分方程(FPDE)进行,并产生了令人满意的去噪结果[33-35]。Lu和Tan在2013年给出了一个四阶偏微分方程去噪模型,该模型采用了各种传导系数,与传统的基于二阶PDE的模型相比,该模型可以更好地保留边缘和特征[36]。另一个基于FDPE的非常开创性的工作是由You-Kaveh给出的,他采用分段谐波函数从噪声图像近似无噪声图像[37]。尽管人们已经基于FPDE进行了大量研究,但由于基于FPDE的模型比基于PDE的模型衰减图像高频系数的速度快得多,因此它们往往会在滤波图像中产生斑点噪声并过度平滑阶梯边缘。
Chao和Tsai在[38]中给出了一种基于局部梯度、灰度方差和边缘停止函数相结合的PDE算法,以获得更好的边缘保持能力。吉尔博亚等人。[39]介绍了一种自适应扩散过程,该过程采用前向和后向扩散过程,以便引入更好的边缘增强方面,同时抑制平滑部分中的噪声像素。它给出了一个有趣的审查的层次结构的ADE为基础的方法沿着其扩展应用领域的图像去噪,也证明了正则化ADE模型,这是适定性,并具有稳态非平凡的解决方案。
在[40]中,已经提出了基于自适应阈值的ADE模型。Ghita等人[41]给出了梯度向量流的修改版本,以进一步提高去噪性能。基于ADE滤波的另一个工作领域已经获得了很多重要性,它采用定向拉普拉斯算子并在原始图像中引起边缘方向扩散[4,42]。
文献中记载了大量受此启发的研究工作,这些工作或多或少都借鉴了Perona Malik的各向异性扩散滤波模型,其中部分内容已在本节中简要介绍。这是一组非线性滤波技术,它设计了方向和梯度的设定水平,与其他基于正则化的滤波器相比,具有更好的边缘保持能力。尽管ADE-PM模型的许多改进已经证明了其适用性,但它们仍然倾向于在丢失纹理细节的情况下锐化边界[4]。
1992年,Rudin和Osher提出了总变差最小化方法,这是另一种正则化滤波算法,可以滤除同质区域的噪声,但不能滤除其边缘。对于给定的噪声图像v(x),作者提出将原始图像u(x)恢复为约束最小化思想的解,使得图像的总变化最小化,从而生成恒定的分段解[43]。通过最小化原始图像和恢复图像之间的能量变化来简单地获得恢复图像。一些算法,即Chambolle算法[44]和前向-后向算法[45],已被给出作为基于全变分(TV)的最小化问题的解决方案。然而,这种技术能够保持沿着直边的信息,但存在两个主要缺点:不能保持纹理信息和引入阶梯效应。
大多数空间域滤波器是基于空间邻近性而导出的,而邻域滤波器考虑灰度相似性来定义邻域补丁 。著名的Yaroslavsky滤波器考虑了空间距离和灰度相似性进行平均[46,47]。双边滤波器(BF)由Tomasi和慕尼黑给出,作为邻域滤波器的修改形式,其加权到参考像素的距离,而不是遵循固定的邻域[48]。
类似地,用于提供增加的边缘保留的基于邻域滤波器的另一种空间滤波方法被称为最小单值段同化核(SUSAN)[49]。它构造了所有像素的平均值,这些像素与中心像素等距。
BF在去噪过程中同时考虑了灰度相似性和空间接近性 。它过滤掉属于参考像素的区域中的噪声,并保留图像的边界和尖锐边缘。在[4,50]中已经确定,BF是特定类型PDE-AD模型的离散化形式。空间上接近并且具有相似像素强度的像素以权重随着距参考像素的距离增加而衰减的方式被平均。最近,大量的工作集中在提供BF的即兴表演,如加权双边滤波器,鲁棒双边滤波器,快速双边滤波器,多分辨率双边滤波器[50]。
Elad在[51]中指出,双边滤波类似于加权最小二乘最小化的Jacobi迭代。双边滤波的过程是简单的和非迭代的,但其直接实现是缓慢的,因为BF具有蛮力实现,其中计算复杂度随着邻域半径的增加而呈指数级增加。2011年,Chaudhary等人通过采用三角范围核而不是考虑欧几里得空间距离[52]给出了一种更快的BF方法。2013年,[53]中给出了另一种加速BF的方法。Chaudhary等人给出了一种使用双边滤波进行图像去噪的可靠且快速的方法,其中加权双边滤波(WBF)是通过将原始双边滤波器及其以加权方式进行修改来获得的,目的是最小化MSE(均方误差)[54]。除此之外,在[55-57]中给出了其他几种双边滤波的加速形式。
根据Frabman和Durand,BF倾向于在图像的高动态范围细节分解和压缩中创建梯度反转伪影[55,58]。在[59]中也可以清楚地看到,BF在低噪声水平下不能很好地工作。虽然双边滤波能够保留边缘,但它们也倾向于保留一些不需要的噪声系数。此外,当噪声的标准偏差超过边缘对比度时,该方法给出的恢复图像较差[48]。
在文献[60]中,Jin等人提出了一种算法,该算法使用加权函数对双边滤波器(BF)进行处理,其中可以选择中心像素或向量中值作为滤波过程的一部分。在文献[61,62]中,给出了一种基于经验研究的双边滤波器模型,即多分辨率双边滤波器。Peng等人提出了一项工作,其中给出了一种基于最小化Stein无偏风险估计的向量参数选择优化方法[63]。流行的联合双边滤波利用了两个相关图像的全局信息[64]。另一种基于双边滤波器理想解释的滤波器是引导滤波器[65]。这种滤波器的实现速度比传统的双边滤波器更快,并且其边缘停止函数是从引导图像中得出的。这种滤波器具有自动时间实现功能,与窗口半径k无关,并且可以在实时应用中自由选择任意大小的核。它还能在一定程度上减轻梯度反转伪影的问题。
除了这些过滤器,各种其他过滤器,即转向核回归(SKR),Metric-SKR,KSPR和训练过滤器将在本文的后面部分简要介绍。
前面的部分简要介绍了局部空间域滤波器,并跟踪了它们在去噪领域的逐步发展。由于实现局部滤波器的基本思想是利用像素之间的相关性,因此它们往往在高噪声水平下表现不佳,因为像素之间的相关性被升高的噪声水平严重破坏。
2.2.非局部滤波器
在[2]中,Buades等人除了对现有的图像去噪方法进行分类之外,还基于实验方法引入了一种滤波器,以便以非局部方式或在整个图像中利用像素之间的相似性,通常称为非局部均值(NLM)滤波器。这项开创性的工作清楚地表明,图像特征之间的非局部自相似性是图像去噪领域最大的潜在基础。NLM过滤器利用图像中相似特征或模式的存在。在BF中,生成给定补丁中的像素的加权平均值,并且权重不仅取决于几何距离,还取决于上下文相似性。非局部滤波的方法可以替代地被理解为利用参考和所选像素周围的两个补丁之间的欧几里德距离。NLM算法是一种典型的逐点去噪方法,它只对单个点产生无噪像素,参考像素邻域之间的相似性直接影响滤波器的权重。
在[2]中提出了原始NLM滤波器之后,为了加速滤波器的实现并改进定性和定量结果,后来又提出了几种改进方法。Zhang等人介绍了一种用于图像去噪的双向非局部变分模型,该模型利用了一种想法,即如果相似的块被排列为矩阵,则行和列表现出相似性[66]。为了加速NLM,通过确定用于贡献邻域的预选的平均值和梯度来生成候选块的细化集合[67]。在Wang等人的另一项工作中。在2012年,提出了Gabor特征非局部算法,以消除纹理图像[68]。[69]中给出了一种改进的NLM(INLM),通过假设加权函数对称并通过递归平均滤波器(双平方鲁棒函数)的对称移动计算欧几里得距离,大大提高了原始NLM的功效。基于前阶段处理,以迭代方式执行该方法导致更好的补丁分组。这种改进的基于双平方的鲁棒权重计算导致减少的细节损失。虽然此滤镜可以去除额外的噪声,但由于后期处理,它往往会模糊细节。
受NLM的一些修改版本的启发,Xu等人提出了一种用于遥感图像去噪的基于块分组的NLM(NLMPG)算法[70]。该算法主要利用了Coupe等人[71]给出的Block-wise NLM算法,在两个方面表现出即兴创作:通过选择最相似的块来削减冗余,并根据图像块的方差为中心块定制滤波常数 。该算法的性能比一些现有的NLM即兴创作和K-SVD(k表示奇异值分解)更高。
在[72,73]中给出了非局部均值(NLM)的其他各种改进。
尽管非局部均值是第一个在整个像素范围内利用自相似性的滤波器,但当图像缺乏相似块时,它会产生伪影和性能下降。在去除噪声的同时保留边缘和细节的非局部图像特征的概念性利用,一直是大多数最先进的图像去噪算法的潜在理念,本文后面的部分将对此进行讨论。
除此之外,在空间域图像去噪的背景下,还有许多其他的数学概念在文献中被广泛采用。形态滤波就是这样一个主题。形态学操作处理用于提取在形状的描述和表示中有用的图像特征的工具。形态滤波包括用于平滑图像和去除噪声的开和闭操作。打开操作平滑物体的轮廓,打破狭窄的凹陷并抑制明亮的峰值,而关闭通常会融合狭窄的凹陷,消除小孔并减少较暗的细节[74]。
然而,最近的滤波器基于形态滤波已经由Graham Treece开发,以自适应地去除图像中存在的噪声量。双调滤波器遵循双调性的原理,即它保留局部双调的信号内容(在给定范围内仅包含一个最大值或最小值)并去除连续变化的噪声像素。该滤波器在低到高的噪声值中显示出有希望的结果。仿生滤波器是一种典型的非局部滤波器,它构造开、闭滤波器权值的加权高斯输出。它是一种自适应的图像去噪方法,在去除噪声的同时保持了图像的边缘,而不需要先验知识。在AWGN和脉冲噪声的情况下,该滤波器的去噪性能优于高斯、中值和开-闭和闭-开滤波器[75]。
任何去噪算法的主要目标都是尽可能保留精细的特征细节,同时将图像去噪到清晰度,表示和解释的显著水平。大多数滤波器的工作原理是在检测边缘时简单地禁用降噪机制。然而,这些滤波器在相当高的噪声值下倾向于遵循类似的准则,其中噪声中的强度变化超过边缘不连续性。因此,尽管空间域滤波器已经实现了高水平的性能,但总是以噪声的普遍存在为代价来保留特征。噪声是随机的,被假定为具有较高的频率,而真实信号具有较低的频率,本质上是重复的,因此可以容易地去除较高的频率以实现去噪。然而,边缘和特征通常是不重复的,并且具有较高的频率,并且它们的去除导致边缘损坏和信号模糊 。因此,这些空间域滤波器不断努力去除高频噪声而不是高频信号,这仍然是空间域滤波中最具挑战性的问题
除此之外,空域滤波器在边缘附近容易出现梯度反转和光晕效应。此外,由于滤波器和卷积过程的大窗口尺寸,空间域滤波器是缓慢的并且计算无效的。在某些情况下,它们会导致阶梯和稀疏斑块效应,在某些情况下,它们往往会导致边缘过于模糊。因此,有必要设计一个通用的框架,它结合了一个以上的技术,不仅解决了图像去噪的问题,但也能够保留轮廓,边缘,功能和细节。
由于高计算复杂度和无法区分噪声和空间域中的尖锐特征,研究人员已经转向变换域技术进行图像去噪。
变换域滤波器依赖于各种类型的阈值,以便区分边缘和噪声,并且在数字信号处理和多分辨率分析领域中具有持续的至关重要性。下一节将介绍各种基于变换的图像去噪方法及其优缺点。
3.变换域滤波
与针对空间域技术的方法相比,变换域方法利用了稀疏性特性,即信号可以由较少的非零系数表示,或者图像可以由几个高值系数的线性扩展来表示 。这一特性使它们成为一维和二维领域中极具应用价值的数字信号处理工具。基函数的局部化、各向同性、多分辨率和方向性等表征属性是图像变换方法的主要特性。此类方法有多种变体,如傅里叶变换(FT)、快速傅里叶变换(FFT)、离散余弦变换(DCT)、小波变换、曲波变换、可导向小波、脊波、波纹波、曲波、轮廓波、楔波、条带波、方向波、剪切波和方向滤波器组[1,6,8]。
傅立叶变换和离散余弦变换在图像去噪和无损压缩中得到了广泛的应用。DCT变换的图像复原过程虽然简单,但重建图像存在块效应,不能很好地保留图像的边缘特征和细节 。与FT相关的主要缺点是其长基函数,而多分辨率工具-小波变换表现出稀疏性(非零系数的数量很少)。小波比FT更受欢迎的主要原因是小波在空间和时间上都提供了局部化,而FT仅在频率上局部化 。同样,与DCT相比,离散小波变换(DWT)使用比余弦更高数量的最佳函数集来表示尖锐边缘。除此之外,在高通子带的情况下,DCT能够提供更高的频率分辨率和更低的空间分辨率。大量文献表明,与FT和DCT相比,小波变换在高效图像恢复和无损压缩方面具有上级性能[76]。
1989年,Mallat提出的小波变换多分辨率信号分解理论,给图像处理和计算机视觉领域带来了一场革命[77]。
多分辨率表示工具(MRT)有效地提供了一个用于解释图像信息的分层框架。在较粗糙的分辨率下,可以通过主要识别图像上下文的较大结构来查看图像。随着分辨率的提高,精细的详细结构被分析。MRT的这种特殊性质在模式识别和计算机视觉中很有用[6]。
离散小波变换(DWT)是一种数学工具,它是通过对连续小波变换进行离散化而获得的,并构成一个平移和膨胀因子,从而以滑动窗口的方式在不同尺度上包围整个图像。小波变换的能量压缩特性,即图像中的大部分信息被编码在少数高值系数中,是其广泛应用的主要原因之一[78,79]。
小波变换在粗层次上采用低通滤波器组构造图像的近似层,在细节层次上采用高通滤波器组构造图像的近似层。每一级近似进一步分解为下一尺度的图像表示。
小波变换使用了许多母小波,为信号分解提供基函数。著名的小波族有双正交小波、Coifflet小波、Daubechies小波、离散Meyer小波、Haar小波、反向双正交小波和Symlet小波[80-84]。母小波的有效性和适用性受滤波器长度、正交性、紧支集和光滑性等因素的影响。Daubechies或DbN是最常用的母小波函数,因为它们被证明最适合纹理和特征分析。
基于小波变换的去噪方法通常将图像内容变换为不同分辨率和尺度的多个子带。较大的频率系数包含低频图像信息(近似水平)和噪声和细节存在于高频子带。通过对较小的系数进行阈值化,可以去除噪声,最后通过将系数逆变换到空间域来恢复图像。这可以通过图3进一步理解。
在多分辨率子空间中,观察到在低分辨率下,信号成分(即边缘或重要的几何结构)会过度超出噪声像素,从而凸显了噪声与真实信号之间的差异[85]。去噪的基本原理是,高频带中较小的小波系数可以进行阈值处理,而低频带中幅度较大的系数则予以保留,因为这些系数不太可能是噪声。小波阈值处理的性能取决于两个主要标准:一是小波基或母小波(如Haar、Daubechies等)的选择,二是所有层级所有子带的阈值选择。
图3. 基于小波变换的图像去噪。
3.1.阈值
图像去噪领域中更大的挑战在于阈值的选择。例如,较大的阈值将收缩信号特征,导致信号的过平滑或模糊,而较小的阈值可能留下更多数目的与噪声信息相关联的系数 。Donoho和Johnstone在1995年给出的阈值函数主要有两种类型:硬阈值(HT),其中每个值与阈值进行比较,较低值被零代替,另一种是软阈值(ST);大于阈值的系数通过与阈值相减来修改[86,87]。HT导致突变,这导致伪影的产生,而ST有时倾向于过度平滑恢复的图像。就图像的视觉外观而言,ST优于HT。然而,在文献中已经报道,在某些情况下,硬阈值通过保留边缘信息给出了更好的结果[88]。
ST在恢复的图像中经常引起误差和偏差。为了解决这个问题,文献中包含了几种用于设计最佳阈值函数的改进。例如,双曲线函数[89]、最优线性插值收缩算法[90]被提出以克服ST和HT所带来的限制。除此之外,Fodor和Kamath在2001年提出了一种类似于ST的阈值化、半软阈值化和Garrotte阈值化[91]。这些阈值对信号中的小变化具有较高程度的灵敏度,并且生成具有较小均方误差的结果。通过选取合适的阈值,根据收缩函数对小波系数进行修正。通过对阈值化后的系数进行逆变换,得到复原图像。
为了分析阈值设计领域的进步,将现有方法分为三类[92,93]:
非自适应通用阈值:为所有子带选择唯一阈值
子带自适应阈值:为子带中的所有系数选择阈值
空间自适应阈值:每个小波系数都有自己的阈值
在这些类别下,文献中存在的各种类型的阈值方法列于表1中。
3.1.1. 通用阈值
通用阈值开始时,通用阈值(UT)可以给出为:
其中L是信号的长度,λ是噪声方差。在大量样本的情况下,UT给出了恢复图像的公平估计[86]。
3.1.2. VISUShrink
VISUShrink是Donoho和Johnstone在1995年提出的一个非自适应通用阈值。阈值可以给出为:
其中,N = 2是AWGN的噪声方差,K对应于图像的范围。对于较大的K值,T visu也很高,因此它会产生一个相当平滑的估计。这种类型的阈值不能很好地适应图像中的不连续性,但是它比通用阈值具有更好的性能。在像素数量达到无穷大的高概率情况下,它给出了最佳的渐近MSE(均方误差)性能。然而,它通常会导致图像的过度平滑,从而导致更高的MSE [87]。
3.1.3.SURE收缩
SURE-Shrink是设计自适应阈值的第一次尝试,其中为每个细节子带计算不同的阈值。它是通用和SURE阈值的混合,并且取决于特定子带的能量。它在高能量系数的情况下采用SURE阈值,在稀疏子带的情况下采用UT,并且给出比VISUShrink更好的性能。每个分辨率级别的阈值由下式给出:
其中K表示特定细节子带中的小波系数数量,t用于最小化SURE,σ是噪声方差。SURE-Shrink可以最小化均方误差(MSE),其性能优于VISUShrink,并且具有平滑适应性:即能够保留图像中的边界和不连续性。
根据小波能量压缩原理,信号的大部分能量集中在少数几个小波系数上,而噪声则散布在所有系数上,并且噪声系数取决于特定频带内小波系数的数量。在极端稀疏的情况下,由信号为零的系数贡献的信息泄露了由非零信号小波系数扩展的信息[94,95]。
3.1.4.BayesShrink
BayesShrink由Chang等人给出,并且是一种数学框架,其提出了用于每个细节子带中的广义高斯分布的数据驱动自适应阈值。如此设计的阈值旨在最大限度地降低贝叶斯风险。
根据其数学框架[88,92,93]。噪声图像的方差可以如下给出:
其中,是噪声图像的方差,是原始信号的方差,并且是噪声方差。
𝜎𝑥𝜎贝叶斯阈值定义为[88]:
B k表示每个尺度上的小波系数,K是子带系数的总数,并且在鲁棒中值估计的帮助下计算出阈值。这种类型的阈值比SURE-Shrink产生更好的视觉效果。
3.1.5.概率收缩
Prob-Shrink是一个概率收缩函数,它计算事件的概率:给定的系数包含感兴趣的信号特征。该方法假设无噪声数据的广义拉普拉斯先验,并计算概率和小波系数的乘积。在概率收缩框架中,感兴趣的信号或信号小波系数超过阈值,这导致较小系数的收缩和较大系数值的保留[94,96]。
3.1.6.SURELET
在[97]的工作中,给出了一种正交小波去噪方法。该方法将去噪准则直接参数化为权值未知的基本过程的非线性展开。
该技术旨在最小化干净信号和噪声信号之间的MSE。SURE(Stein's Unbiased Risk Estimate)是一种统计无偏的MSE估计器,它只依赖于噪声图像,并且最小化噪声图像导致线性方程组的解。Luiser等人通过附加SURE原则进一步改进了[97]中给出的工作。提出了一种典型的去噪过程可以表示为基本去噪过程的线性组合--线性展开式(LET)。这种方法通常被称为SURELET。该方法已应用于灰度和彩色图像以及混合泊松-高斯去噪[98]。
3.1.7.Neigh Shrink Sure(NSS)
Neigh Shrink (NS) 是一种数据驱动的子带自适应阈值处理方法,其中平方窗口以要进行缩减的噪声系数为中心。该方法进一步改进为引入 Neigh-Shrink SURE。NS 采用了一个非最优的通用阈值,并且对所有小波子带使用了相同的邻近窗口大小。然而,NSS 为每个子带推导出了一个最优阈值和基于 SURE 的邻近窗口大小。NSS 的数学公式可以表示为:
𝜆𝑠𝐾𝑠= arg min𝑆𝑈𝑅𝐸 (𝑊𝑠,𝜆,𝐾)
Ks是子带S的最佳阈值,Ks是子带S的最佳窗口大小,W s控制SURE的最小化[99]。
3.1.8.块收缩
在这种方法中,为了最小化SURE,为每个小波子带计算块的最佳大小和阈值。这种类型的阈值化同时保留或消除系数。因此,它更容易实现,并提供比SURE Shrink和Neigh Shrink更好的性能[100]。
阈值方法在图像去噪过程中起着至关重要的作用,每一种方法都有其优缺点。通过利用尺度间和尺度内的相关性,这些方法得到了进一步的改进。BLS-GSM也是一个这样的例子,由于其在图像去噪中的广泛赞誉,在后面的部分中详细讨论。由于变换域方法为滤除图像特征和细节中的噪声信息提供了有利的假设条件,因此在图像去噪中得到了广泛的应用。小波的以下性质使其成为图像变换的一种非常流行的方法[6]:
稀疏性:大部分信息包含在少数高幅度系数中,其余系数较小。·
多分辨率:不同层次的不同子带,包含不同类型的信息。这有助于对子带进行不同的操作以提高精度。
尽管小波在为一维分段连续函数提供最佳逼近方面取得了显着的成功,但它们在最佳表示图像中通常由各向异性特征(如边缘)控制的多变量函数方面不是很有效[101]。WT(小波变换)更好地表示1-D信号,但当涉及到2-D信号时,边缘和轮廓是重要的图像特征,对图像的理解和可读性至关重要,这些变换效果不佳。
DWT的有限性能归因于其缺乏移位不变性,即输入信号中的小变化可以在不同尺度的小波系数之间的能量分布中产生显著变化;由于DWT系数是可分离的并且是真实的,因此对边缘的方向敏感性差。此外,在离散小波变换的情况下,如果图像块中的像素数超过块中的系数数,则会出现振铃现象。
为了克服与DWT相关的这些问题,[102]中提出了流行的非抽取离散小波变换用于去噪。这种方法能够在一定程度上缓解DWT带来的问题,但它导致吞吐量冗余增加,计算效率低下。
此外,考虑到离散小波变换的平移方差和方向敏感性降低,Kingsbury在1998年提出了双树复小波变换(DT-CWT),它在Gabor滤波器的帮助下提供平移不变性和方向敏感性。除此之外,它提供了更好的重建,有限的冗余,并且计算效率高[103]。
类似地,Fathi等人在[90]中进行了小波包的自适应阈值处理,以抑制医学图像中的噪声。该技术表现出增加量的性能在不同的噪声水平的医学图像相比,基本的小波阈值方法。除此之外,在自适应方向提升方案中,除了水平和垂直方向之外,还在预测方向上应用ADL变换[104]。
在一个相当有趣的去噪方法中,采用了选择性小波收缩的思想。确定小波系数的选择或拒绝优于概率方法,因为前者可以在统计上便于识别估计参数的窄区间,从而最终以高确定性水平调整小波系数。该方法根据小波系数的绝对值、跨尺度的调节性和空间规律性等图像特征选择小波系数。少数几个大幅度系数被分组在一起。第一个阈值选择大幅度的系数,第二个选择一个子集,表现出空间规律的行为。这种非迭代的双阈值方法提供了一种计算简单的解决方案,便于真实的时间处理[248]。
传统的正交最大抽取小波去噪方法由于缺乏平移不变性而表现出像吉布斯现象这样的视觉伪影。Coifman在[105]中给出了"循环旋转"的概念,从而平均平移依赖性,解决视觉伪影。对于一组给定的移位,一旦数据被移位,它就被去噪,然后不被移位。通过在整个移位范围内执行此操作并对移位进行平均,如此获得的结果显示出低得多的视觉伪影。小波域中另一个有趣的即兴创作是引入可操纵金字塔[106]。
改进小波性能的议程有三个方面:第一,设计自适应阈值方法,以保留更多数量的高幅度信号系数,第二是设计方向敏感的图像变换,可以提高去噪性能,第三是混合小波变换与其他领域的各种方法,以最佳地利用非局部图像特征。
上面已经讨论了各种基于阈值的方法。除此之外,还有各种其他方法,以提高小波变换的性能,通过采用数据自适应和边缘保持阈值的方法。
例如,在席尔瓦等人的一项工作中,首先将图像分成一组块,然后利用小波变换获得系数。使用基于边缘强度的自适应阈值来抑制噪声系数[107]。2013年,Qiu等人提出了称为LLSURE的显式滤波器。该方法通过对输入信号进行简单的仿射变换,在局部窗口中滤波输出。此外,通过最小化SURE来构造最优变换系数。该方法源于SURELET和导引滤器[108]。此外,还有统计噪声模型,MAP和马尔可夫随机场开发的方法,将在本文的另一节中讨论。
为了解决小波在更高维度上的局限性,Candes和Donoho在1999年开创了一种称为Ridgelet的新表示系统,该系统将有效地表示与二维线相关的奇点[109,110]。脊波背后的想法是通过有效处理Radon域中的点奇异性来加强小波。Radon变换域中的实现有助于将线奇异性映射为点奇异性[111]。最初,脊波被提出用于连续空间,然而离散实现是一个具有挑战性的问题,因为通过使连续框架离散化的直接实现将导致空间坐标中的插值,从而导致冗余和不完美的重建。
因此,2003年[112]提出了一种既可逆又冗余的有限离散脊波变换(DRT)。研究发现,该变换具有数值稳定性,并且包含自适应方案以及二维数字信号的方向和正交基。该变换的性质在包括图像去噪在内的多个应用中得到了验证。与小波域相比,脊波变换(DRT)具有内置的线性几何结构,可以直接对脊波系数进行阈值处理,而在小波域中,相邻系数在阈值处理之前会先连接在一起。在此算法中,基本的构建块也是Radon变换[113],这会导致环绕效应或混叠以及几何失真。[114]中给出的工作有效地消除了环绕效应问题。作者只是简单地使用了大小为3的有限Radon变换。在这项工作中,开发了一种多尺度图像去噪算法,该算法在去噪的同时有效地保留了边缘。该方法采用移动窗口金字塔,可以更好地逼近直线和曲线。
此外,自适应数字脊波变换(ADR)于2016年提出,作为图像去噪的多尺度图像分解算法。该方法通过考虑图像的底层结构,更好地表示了直线和曲线信息。与脊波和曲波变换相比,该算法的实验结果能够描述PSNR的改善[115]。文献中还提出了一种正交有限脊波变换用于图像去噪[116]。除此之外,文献中还记载了其他图像去噪算法,这些算法将脊波变换与其他方法结合使用,以提高其效率。这些方法属于典型的混合域方法,这将在本文的后面部分讨论。
与脊波同时代,曲波变换也在文献中被广泛研究用于图像去噪。曲波变换和脊波变换是基于轮廓的图像表示领域的重大突破。
Curvelet和Ridgelet发展的主要动机是为了扩大小波变换在图像去噪方面的固有局限性。这种限制源于这样的事实,即沿着图像的沿着重要边缘,小波即使在更精细的尺度上也表现出大的幅度系数,使得在大幅度系数的映射内,可以发现在每个尺度上重复的边缘。这直观地意味着需要大量的小波系数才能以有效的方式表示图像边缘。这导致更高的计算复杂度,因为有这么多的小波系数处理。除此之外,基于小波的去噪方法实现的MSE是噪声参数度量的量级。然而,理论上的限制表明,它可以实现高达€4/3。因此,它需要通过开发新的扩展,可以有效地表示光滑函数以及边缘使用很少的非零系数值来实现这个理想的MSE。
这是一个普遍的理解,边缘是更多的'弯曲'的参数,而不是直!在非常精细的尺度下,弯曲的边缘看起来是直的,因此应该以更局部化的方式部署脊波以捕获边缘。因此,Curvelet变换,脊波变换的多尺度变体,是由Starck等人基于使用子带滤波的不同尺度的隔离而开发的[117]。作者报告说,同样的脊波,curvelet发生在所有尺度和位置以及方向。除了长度和宽度可变的特性外,曲波还具有斑片状的各向异性。的长度和宽度相关的抛物线缩放和各向异性增加在更高的尺度。从[117]中给出的实验分析可以看出,曲波系数的阈值化导致平滑区域的接近最优解以及沿沿着曲线的不连续性。
在[118]中给出的工作中,使用基于贝叶斯理论的软阈值对曲波系数进行阈值化,以便从噪声中重建电离图。在另一项工作中,提出了一种基于小波、曲波和脊波变换相结合的方差稳定变换(VST)来去除泊松噪声。这种变换也被称为Anscombe变换的扩展[119]。
Curvelet变换的主要局限性在于它不是直接在离散域中构建的,也不能提供多分辨率几何结构。与其他方向变换相比,离散域中的数学分析和实现更为复杂,效率也更低。除此之外,Curvelet缺乏正交性,并且不是临界采样的。此外,在Curvelet域中进行阈值处理会在强线性特征旁边产生幽灵效应等视觉伪影。
虽然在世纪初设计多尺度变换的激烈战斗盛行,但一些成像变换如Brushlets [120],Wedgelets [121],Beamlets [122]通过实现有效的奇异性分析而以巨大的方式使图像处理领域受益。再往前,考虑到值得注意的时间顺序,在曲波变换之后,出现了轮廓波变换的时代。虽然见证了小波变换表示2-D不连续性的失败性能,但人们逐渐认为,除了精确的定位和多分辨率分析之外,新的2维应该设计成具有不同方向和不同纵横比的细长形状。
曲波变换能够实现这一切,但关键采样的曲波变换的离散化是相当具有挑战性的。因此,改进的曲波变换小波表示2-D分段光滑信号的光滑和不连续的曲线启发Donoho和Vetterli,设计轮廓波变换(CT)。轮廓波变换是一种双迭代滤波器组结构,它解决了曲线的各向异性缩放方程,从而实现了快速的曲线波。Contourlet构造背后的主要思想是设计一种稀疏表示,从而提供跨越不连续性的平滑曲线。在基本的理解中,边缘被称为沿着物理对象的形状沿着的平滑边界的聚集,而不连续性是强度的急剧转变。在去噪方面,轮廓波变换比小波和曲波变换具有更好的性能。CT可以被理解为用于边缘检测的小波变换的部署,以及使用方向变换的轮廓段的定位。在双滤波器组结构中,拉普拉斯金字塔用于获取不连续性,并采用进一步的方向滤波器组将基础图像扩展为轮廓,或者换句话说,将点不连续性框成线性结构[123,124]。
根据Do和Vetterli [123],Contourlet是用具有较少方向特征的细长基函数构造的,并且用Contourlet变换进行去噪往往会引入伪影和吉布斯现象,因为它们是平移不变的。此后,在[125]中给出的工作中,Eslami和Radha采用基于循环旋转的轮廓波变换来诱导图像去噪方面的方向敏感性。这种技术给出了有前途的结果相比,轮廓波变换在扩展范围内的噪声的标准偏差去除AWGN。
由于在不同分辨率水平下的子采样,存在平移不变性的剪切缺乏,这对图像去噪至关重要。因此,在Eslami和Radha的另一次尝试中,设计了方向不变的轮廓波变换,该变换采用了方向滤波器组的修改版本和用于1-D小波变换的算法a trous。沿着二元收缩阈值,他们的方案提出了一种令人难以置信的去噪方法[126]。
在库尼亚等人的工作中,提出了非下采样轮廓波变换(NSCT)的概念,它具有完全多尺度、平移不变性和快速方向扩展的特点。它采用非子采样金字塔银行和过滤器银行,免除了需要的2-D因式分解,从而消除吉布斯现象。NSCT与硬阈值和局部自适应阈值相结合,以产生比轮廓波变换高得多的PSNR [127]。在[128-130]中可以找到其他一些基于轮廓波变换的图像去噪的重要工作。
抛物线缩放律泛化的研究导致了另一种有趣的MRA(多分辨率分析)工具,即Ripplet Type-1变换的设计。这种变换是Curvelet变换的高阶泛化,增加了两个参数:支撑c和度d。当c=1且d=2时,RT收敛于Curvelet变换。Ripplet变换在图像去噪方面表现出与Curvelet变换相当的有希望的结果[131,132]。Ridgelet解决了沿直线的不连续性,而Counterlet和Ripplet仅限于解决沿平滑曲线的不连续性。但这些变换无法解决沿边缘和轮廓的不连续性。在设计变换时,必须使用具有更高方向敏感性的基元,其形状和方向比经典小波更多。在设计新变换的不断进步发展中,一些主要的变换包括bandlets[133]、haarlet[134]、ranklet[135]、morphlet[136]、tetrolet[137]等,更多内容可在[138]中找到。此外,为了去除泊松噪声,Luiser等人提出了PURELET(泊松无偏风险估计阈值的线性扩展)。它被设计为执行两个功能,一个是信号保留,另一个是在存在散粒噪声时进行噪声抑制。PURE去噪函数使用未归一化的Haar小波变换[139]。文献中报道了许多同时针对高斯噪声和泊松噪声的方法。
在阈值的线性扩展中,多方向性(M-S)和方向消失矩(DVM)(在w = 0时为零;稀疏表示)是使其适用于任何图像处理任务的主要属性。二维小波变换的空间各向同性、水平方向和垂直方向的卷积和不可分离滤波过程限制了其效率。Curvelet和Contourlet在一定程度上提供了各向异性,但它们在实现过程中需要过采样并且非常复杂。Velisavljevic等人。[140]提出了一种基于整数格的多方向各向异性变换,称为Directionlet。DT是一种各向异性的多尺度几何变换,具有沿任意两个方向的方向消失矩沿着。除了计算效率高之外,它还具有完美的重建和严格采样的基函数。在[141]中给出的工作中,在Directionlet域中利用了几种阈值方案来利用尺度内和尺度间的依赖性。
在LET(阈值的线性扩展)的连续进展的过程中,设计了几种图像变换。本文对去噪领域中的重要变换进行了一定程度的讨论,而有些只是提到。
在经历了一系列变换之后,文献中出现了另一个高度方向敏感的变换时代,其中很少有Shearlet变换、Directionlet变换和Framelet变换。由于这些变换在PSNR、SSIM和视觉质量方面在图像去噪方面表现出了出色的性能,因此在下面的部分中对其进行简要讨论。
在阈值的线性扩展中,多方向性(M-S)和方向消失矩(DVM)(在w = 0时为零;稀疏表示)是使其适用于任何图像处理任务的主要属性。二维小波变换的空间各向同性、水平方向和垂直方向的卷积和不可分离滤波过程限制了其效率。Curvelet和Contourlet在一定程度上提供了各向异性,但它们在实现过程中需要过采样并且非常复杂。Velisavljevic等人。[140]提出了一种基于整数格的多方向各向异性变换,称为Directionlet。DT是一种各向异性的多尺度几何变换,具有沿任意两个方向的方向消失矩沿着。除了计算效率高之外,它还具有完美的重建和严格采样的基函数。在[141]中给出的工作中,在Directionlet域中利用了几种阈值方案来利用尺度内和尺度间的依赖性。
为了证实在图像去噪时有效边缘表示的需要,在[142]中提出了一种使用directionlet变换的基于稀疏性的算法。对于每个像素值的多个合理的估计的基础上构建DT表示的边缘的方向。通过计算这些估计值的加权平均值,构建了最终的去噪图像,并显示出比其他基于多方向小波的变换更好的性能[142]。除此之外,还设计了一种基于柯西密度函数和方向波变换的新型去噪算法,以去除SAR(合成孔径雷达)图像中的斑点噪声[143]。Shahdoosti在[250]中给出了另一个关于从超声图像中去除斑点噪声的示例性和相当近期的工作,并于2018年提出。该方法采用广义散斑法,通过极大化对数似然函数来获得无噪声像素。此外,每个噪声像素的分布根据噪声像素的块与正被处理的像素的块之间的统计相似性来加权。主观和数值观察结果描述了该算法优于使用脾脏、胰腺和肝脏超声图像的最新技术水平。
在图像的多尺度方向表示时代,伊斯利等人提出了一种相当新的表示方案,称为Shearlet。它被发现是非常有效的,在提供最佳稀疏表示的各种多维数据,并已显示出各种图像处理应用,如图像增强,图像融合和图像去噪的改进。Shearlets已广泛用于图像去噪[144]。提供了一种更灵活的工具,实现起来也更自然。Shearlet的主要基本性质是其移位不变性。它是频带受限的和紧支撑的,并且基本上是一种也具有方向参数的复合小波。由于引入了剪切参数和各向异性膨胀,该方法提供了多分辨率、多尺度的表示。然而,基于Shearlet的去噪算法应使用自适应阈值方案进行优化,该方案倾向于增强最初由Shearlet变换保留的图像特征和细节[145]。非下采样Shearlet变换是离散Shearlet变换中的一种特殊类型。NSST的一个主要特性是对输入信号的平移不变性,这使得它在图像去噪中非常受欢迎。
在去噪的上下文中,众所周知,移位方差在奇异点周围引入吉布斯现象,即通过NSST显著减少的伪影。NSST使用非下采样金字塔滤波器组(NSP)和非下采样剪切滤波器(NSS)实现[146]。为了获得接近最优的估计并去除Gibbs伪影,将剪切波变换与全变分方法相结合进行图像去噪。剪切波系数进行自适应总变差最小化,这导致在曲波域形式的高度复杂图像中优于相关方法[147]。在见证NSST的边缘保持多尺度和多方向表示的同时,在[4]中提出了一种基于NSST和双支持向量机(T-SVM)沿着子带自适应阈值的技术。这项工作除了优于probshrink和BLS-GSM(贝叶斯最小二乘高斯尺度混合)等技术外,还提供了一个非常简短,简洁和翔实的图像去噪文献调查。该技术通常能够在抑制噪声的同时保留边缘。[148,149]中记载了利用NSST的边缘保持特性的一些其他有效的图像去噪算法。经过大量的文献调研,发现NSST结合有效的阈值方法和各种空域滤波器是一种很有前景的图像去噪算法。
图像去噪领域的一个主要开拓性工作包括小波变换的自适应方向提升方案。该方法被提出为平移不变方向小框架变换,其提供了基本上上级冗余表示沿着基于Gabor滤波器的新颖方向估计[150]。
除了上述的变换域技术之外,BM3D [151]、BLS-GSM [152]和LPG-PCA [153]中还利用了小波系数的跨尺度与尺度内相关性。事实上,这三种技术堪称最先进的降噪技术。表2总结了特定领域下的各种方法的层次结构。
3.2.BLS-GSM(Bayesian Least Square Gaussian Scale Mixtures)
小波系数之间存在着尺度间和尺度内的依赖关系,这是一个公认的事实。可以定义,如果(父)小波系数小或大,则其相邻(子)系数也小或大,并且这些系数倾向于跨尺度分布,因此可以被修改。由于小波系数是严格采样的,可能会导致视觉上不愉快的文物,有必要开发过完备小波。在BLSGSM中,小波系数在不同位置和尺度上的邻域被建模为高斯尺度混合(GSM)。使用贝叶斯最小二乘估计器计算无噪声系数。该算法首先将受AWGN噪声污染的图像变换为小波系数。每个局部邻域被建模为GSM,并且每个邻域的中心通过采用局部Weiner估计器来估计。为了得到系数的完全最优估计,计算BLS解。通过小波逆变换可以得到去噪后的图像。该去噪算法是迄今为止最成熟的图像去噪算法,其效率是无与伦比的。然而,由于这种方法需要对功率谱密度进行严格的估计,这使得它是非自适应的[152]。
其他一些基于利用尺度间和尺度内依赖性的方法如下:Bi-shrink是由Sendur等人设计的小波收缩技术。使用MAP(最大后验概率),基于非高斯双变量分布来建模尺度间依赖性[154]。在另一项工作中,考虑了小波系数的尺度内变化[155]。在[156]中给出了一种基于高斯混合模型(GMM)和广义高斯分布(GGD)的小波系数方法。
3.3. BM3D (Block Matching 3-D collaborative filtering)
受非局部邻域均值滤波中的非局部分组思想和BLS-GSM中的冗余或过完备表示的启发,Dabov等人在2007年设计了一种有效的三维变换域滤波方法 。该方法结合了滑动窗口处理和块匹配 。BM3D可以被视为一种多点方法,包括三个步骤:以滑动的方式处理单个噪声图像,搜索与当前处理块相似(欧几里得距离最小)的块并将它们分组在一起 。将得到的匹配块堆叠在一起形成一个三维数组 。这样计算出的三维组是冗余的,因此比小波变换(WT)更有利于有效表示。通过应用三维去相关酉变换,利用块之间的相关性,从而在三维变换域中得到原始信号的稀疏表示。在噪声图像得到有效且稀疏的表示后,通过对变换系数应用硬阈值处理或维纳滤波来进行噪声衰减。BM3D按顺序包含这两个步骤,但第一步进行硬阈值处理,第二步进行维纳滤波 。通过逆三维变换构造的匹配块的局部估计,提高了去噪性能和细节保留效果。分组提供了极其可靠的统计数据,对三维数组的维纳滤波也非常有效。
重叠补丁之间的相似性和小波系数之间的相关性往往提供高性能的BM 3D。然而,在存在唯一补丁的情况下,BM 3D不再提供最佳解决方案。在低噪声水平下,BM3D已被建立以提供最佳的去噪解决方案;然而,在标准偏差高于40时,该算法的性能下降,因为块之间的相关性受到噪声像素的高度干扰,即使进行预滤波 。此外,有时代替小波,为了增强在标准偏差40处的性能,采用具有固定基函数但导致周期性伪影的DCT变换。然而,在一篇文章[158]中,有人评论说,这种替换是不必要的,可以通过调整一些数值参数来建立性能改进,并且在该工作中也显示了这一点。BM3D方法的设计主要考虑了图像受到加性白色高斯噪声的污染 [151]。为了进一步增加3D域中真实信号的稀疏性,Dabov等人提出了一种通过利用相互相似的形状自适应邻域来推广BM 3D滤波器的方法。这些自适应形状邻域显示局部自适应图像的细节和功能,使真正的信号变得大多同质。在2009年,为了增强现有形状自适应BM 3D的自适应能力,Dabov等人引入了PCA(主成分分析)作为3D域的一部分。整个3D变换是PCA和第三维中的固定正交1D变换的可分离组合。该技术可以通过解决新的收缩标准来进一步改进,这些标准高度适应所使用的变换[157,158]。
3.4.LPG-PCA(局部像素分组-主成分分析)。
Zhang等人利用非局部特征和稀疏性的经典思想,提出了LPG-PCA图像去噪,以缓解DCT变换中固定基函数的问题。PCA引入了自适应基函数的概念。
在该方法中,每个噪声像素及其典型邻域被分组到一个向量变量中,遵循两步方法。这些向量被转换到众所周知的PCA域或KL变换使用本征值和向量。在PCA域中进行收缩。在第二步中遵循相同的过程。在BM 3D中,由于基函数的固定,局部细颗粒状边缘容易出现错误的表示。LPGPCA能够在局部自适应基函数的帮助下克服这个问题。然而,第二级的输入是来自第一级的滤波后的补丁。第二级是第一级的精确复制品,除了不同的噪声水平。由于第一阶段的误差持续存在,该因素也会降低第二阶段的去噪性能[153]。
在变换域图像去噪领域,早期的努力主要集中在对有噪声像素的正交小波系数的阈值处理上。随后,随着非抽取小波变换的使用,平移不变方案的概念应运而生。最近,人们进行了几项实验,采用了基于树的方法和各种阈值处理方案的改进,如贝叶斯阈值处理、依赖水平的阈值处理等。然后,研究重点实质上转向了高度方向性变换及其与自适应阈值方法的结合,以及非局部像素相似性聚类(如BM3D)、局部像素分组、BLS-GSM和NSST等。多分辨率、稀疏性、边缘检测和各向异性等传统特性使变换域方法成为图像去噪的极受欢迎的选择。
然而,转换方法也有一些缺点。小波变换不能有效地表示平滑过渡,DCT不能表示尖锐过渡或奇异点。由于大多数变换具有固定的基函数,因此具有不同模式的自然图像的特征化变得困难。小波去噪的核心思想源于这样一个事实,即大部分信号能量被压缩在少数小波系数中,而噪声像素则分散在整个小波系数中。然而,这些方法的效率是强烈限制了适当的阈值的估计。除此之外,一些方法导致振铃伪影。像BLS-GSM这样的方法通过利用局部邻域中的冗余来克服这些问题。BM 3D通过以非局部方式探索冗余来实现更好的去噪结果。然而,当图像像素之间的自相似性假设不能得到很好的保证时,这些方法的性能会受到图像伪影和残余噪声的影响。
4.其他领域的方法
除了空间域和变换域方法之外,研究人员还设计了基于多尺度系数和随机场统计模型的图像去噪方法。在统计模型方案中,无噪声系数基于贝叶斯估计器从先验信息估计。这些方法的目的是在构建空间上均匀的模型,自适应不同级别的信号的帮助下的参数化的变量是自随机的性质。例如,Yin等人提出了一种基于小波系数建模的各向异性二元拉普拉斯分布函数的噪声去除算法[159]。
在另一组有趣的作品中,Rabbani提出了一种噪声抑制方法,该方法使用可操纵金字塔和拉普拉斯概率分布函数对系数进行阈值化。这种方法在[160]中得到了进一步改进。在[161]中,通过在高斯尺度混合的帮助下最大化MAP(最大先验)度量来给出图像去噪的方法。此外,Fathi和Nilchi提出了一种统计最优的自适应小波系数阈值算法。尽管统计方法受到广泛好评,但观察到它们在图像中引入了振铃伪影[162]。
基于随机场的方法是另一个非常流行的领域,它很容易在图像去噪以及其他低级处理(如图像分类和分割)领域中得到利用。在这些方法中,像素的强度值取决于相邻像素。这些方法是基于这样的观察,即图像的全局表示可以从其局部物理结构中获得,这是借助于通常称为马尔可夫随机场(MRF)的条件概率分布函数来实现的。此外,在贝叶斯框架下,定义了最大先验(MAP)概率,该概率表明特定的干净和清晰的图像可能已经被噪声化,以便获得特定的退化图像。这些MRF模型建立了相邻像素之间以及每个像素的观测值和估计值之间的关系[163]。
在[164]中,提出了一个用于图像去噪的三层分层马尔可夫随机场(MRF)模型,其中三层分别描绘了基本纹理和平滑区域、噪声图像和观测到的噪声数据。在Chen等人的一项工作中,他们使用MRF进行了另一种基于最大后验(MAP)估计的去噪处理,用于SAR图像的斑点抑制[165]。Zhong和Wang利用光谱和空间依赖性,在多光谱带条件随机场(MSB-CRF)中为高光谱图像提出了去噪算法[166]。在Ho和Hwang的一项有趣的工作中,他们借助单个贝叶斯网络对小波系数的估计,为不同的输入图像获得了单独的贝叶斯网络[167]。
在另一种有效的去噪算法中,使用贝叶斯和MAP标准,以便在从CT图像中分别去除具有瑞利和泊松分布的AWGN和乘性噪声的同时保持边缘[168]。本文的主要贡献是在贝叶斯框架下利用西尔维斯特李雅普诺夫方程提出了一种去噪算法。Wang等人在[169]中给出的工作中,通过估计像素模式分类器的噪声思想,在每个像素级执行鲁棒自适应方向提升(RADL)算法。
在理解小波系数的尺度间和尺度内相关性的概念的同时,Romberg等人[170]确定,在MRF模型在捕获尺度内相关性方面更有效的情况下,隐马尔可夫模型(HMM)对于边缘和特征之间的尺度间相关性工作良好。他们的方法利用隐马尔可夫模型的属性来捕获高阶统计量、相同尺度下的系数相关性和局部结构。为了获得跨尺度系数之间的相互作用,使用隐马尔可夫树构建模型。此外,为了恢复去噪图像,采用了MAP估计最大化技术。该方法已被证明是有效的,除了较高的计算和训练负担。为了解决这一问题,Malfait提出了一种GSM模型,用于在随机标量乘法器的帮助下估计小波系数的邻域[171]。"
利用基于系数的尺度内和尺度间依赖性的模型,在[252]中提出了一种用于灰度图像去噪的方法。在高斯尺度混合的概念中已经解释了可以借助于父系数来估计图像。该方法包括两个阶段,其中第一阶段包括用卡尔曼滤波器[KL]进行预滤波,第二阶段仅用KF对噪声小波系数进行去噪。实际上,KF的使用便于从较粗尺度的系数和相邻系数的噪声观测来估计高频子带的系数。
在文献[253]中首次提出了利用混合单侧指数密度的隐马尔可夫树来去除图像中的噪声。该步骤还结合了双轮廓波变换,引入了平移不变性,减轻了吉布斯现象。
基于MRF场的方法在图像去噪方面取得了相当大的成功,然而已经发现,在真实的时间应用中,随机场的能量应该在更短的时间内计算上是可行的,并且导出可以提供期望解的接近最优的能量函数总是非常迫切的[4]。
5.混合去噪技术
在去噪领域,已经设计出了大量高效且适用范围广的去噪算法。每一种方法都有自己的贡献、应用和局限性。大量的去噪算法开拓了数字信号处理的各个领域和相关理论。最初设计了利用局部和非局部相似性的各种类型的空间滤波技术。除此之外,还采用了各种基于小波的自适应收缩方法。其他方法包括方向敏感变换和利用尺度间和尺度内依赖性的统计方法。已经部署了基于稀疏表示、随机场和字典学习的几种算法。这些方法已经显示出在定量测量和视觉质量方面以一种或另一种方式逐步改进。
然而,目前最先进的技术结合了多个领域,以便利用多领域的优势,同时克服每个领域的局限性。例如,各种空间域滤波方法能够保留边缘,但它们往往会过度模糊同质区域中的低对比度细节。另一方面,变换域方法能够表示纹理和低对比度信息,但它们往往会在边缘周围引入振铃伪影。
基于这种方法,Knaus和Zwicker结合了两种流行的滤波技术,即从空间域的双边滤波和从变换域的小波收缩的短期傅立叶变换(STFT )。在这种混合方法的帮助下,作者能够在保留边缘的同时保留低对比度细节沿着 。这种方法通常被称为双域图像去噪(DDID ),并于2013年给出[172]。通过在两个不同的域中采用小波收缩和双边滤波作为鲁棒噪声估计器,将这项工作进一步扩展为双域滤波(DDF)。通过引入使用第二引导图像的引导滤波来扩展DDID。该方法优于其他各种竞争性方法,如BM3D,NLM和PLOW,计算复杂度低得多[173]。
PID(Progressive Image Denoising)是Knaus和Zwicker最近提出的一项广受好评的工作,其中利用了小波收缩与差分噪声鲁棒估计之间的联系。然而,这种方法需要更多的迭代次数,通过引导过滤相比,其先前的版本命名DDF。与DDID相反,它不需要区分噪声图像和引导图像。该方法通过在频域中引入异常信号,利用小波收缩作为鲁棒噪声估计,扩展了抑制偏差的视野。最后,这些方法采用DA(确定性退火)和SA(刺激退火)。这种方法统一了空间域和频域,从而产生了一种更简单但有效的去噪算法,在合成图像的情况下与大多数最先进的技术竞争[3]。此外,Pierazzo等人设计了DDID的更快版本(大约三倍)。[174]。这种方法被证明可以减轻DDID在频域中产生的伪影。
针对低质量光学遥感图像的增强和去噪问题,提出了一种双域渐进滤波器。最初的高对比度的图像,得到了双边滤波器的帮助下,使用直方图修改方法增强。此外,使用STFT捕获低对比度图像近似结构,并通过采用自适应的校正参数进行增强[175]。双域图像去噪中的这些连续变化强烈地证明了混合域在图像去噪中的影响。
各向同性扩散(ID)和PM(Perona-Malik扩散)已被广泛应用于去噪的独立方法,并已被证明具有良好的性能。然而,ID导致边缘模糊,而PM引入楼梯效应,导致图像中的局部细节丢失。因此,在[176]中,作者通过采用二阶方向导数(方向拉普拉斯算子)改进ID和PM模型,提出了一种混合图像去噪模型。改进的PM和ID模型的集成方法在抑制均匀区域中的噪声的同时,沿着保留了细节和纹理,并且减轻了阶梯效应。
在一项非常有趣的工作中,Shahdoosti和Hazavei给出了一种最近的方法,其中压缩感知,块匹配和基于稀疏表示的学习词典在带域中耦合在一起。该方法首先对含噪图像进行小波变换,然后利用硬阈值法对噪声系数进行阈值化。该方法假设图像是稀疏表示的字典,而不是基本元素。此外,块匹配技术被用来表示字典元素,使得相同的稀疏向量被用于一组中的所有补丁。给定的方法在八个众所周知的灰度图像上进行了测试,它优于几种最先进的去噪技术[251]。
为了从图像中去除高斯噪声,Yu等人提出了一种算法,该算法在空间域双边滤波中采用了三元小波收缩。这一方法的动机在于,基于小波的方法容易受到低频噪声和振铃伪影的影响,而空间域方法的计算成本较高。小波系数被建模为基于最大先验估计器的三元高斯收缩。总体而言,该方法通过使用小波变换实现了成本削减和联合双边滤波[177]。
在[178]中给出的另一项工作中,基于学习的算法嵌入了曲波变换平铺。最佳的平铺最好的表示一类给定的图像的基础上,最大化的PSNR和最小化的MSE的角度和尺度分解等参数的变化。与曲波变换和NLM滤波器相比,该方法具有鲁棒性。混合域方法下的另一种方法是PDE和广义交叉验证(GCV)理论在四重波变换中的组合。采用四重波变换对图像进行分解,并利用广义共形理论构造自适应阈值。该方法在PSNR值方面表现出色[179]。
众所周知的用于去噪的BM 3D算法是空间域和变换域滤波的混合的例子。受这种聚类3D组相似斑块的想法的启发,采用刷波阈值来去除频域中的噪声。与单独使用BM 3D相比,该方法描述了超声图像的视觉质量改善[180]。
在[181]中给出了一种有趣的方法,将非局部全变分(NLTV)和BM 3D集成用于图像去噪。该方法借助BM3D获得预去噪图像。在构造NLTV模型的保真度项时,将预处理后的图像用于构造正则化项中的能量函数和权函数。能量压缩方程采用分裂Bregman算法求解。所提出的方法表现出非常高的视觉质量,去除伪影,优于NLTV和BM3D。
前面已经讨论过,TV模型已知具有良好的图像平滑特性;然而,它们倾向于通过过度平滑平坦区域来推动阶梯效应。此外,NLM滤波器在重建低频平滑区域时表现出良好的性能,但在边缘处失败,因为没有足够的相似补丁,这导致边缘周围的噪声普遍存在(罕见的补丁效应)。该方法采用非局部数据保真度项代替非局部正则化项。所提出的方法能够执行有效的去噪自由形式的阶梯和罕见的补丁效应[182]。
在进一步的文献研究中,将小波或曲波域与全变差(TV)和扩散方法相结合是解决吉布斯现象问题的非常常见的方法。在[183]中的一项研究中,作者证明,当与全变差最小化相结合以去除伪影和噪声同时保留边缘时,用Shearlet变换替换这些表示是一种更好的方法。这种方法是混合域方法的另一个典型实例。在另一种方法中,借助椭圆方向窗在小波表示的不同方向子带中进行局部Wiener滤波[184]。[185]中给出了一种基于在非下采样Contourlet变换(NSCT)域中用Bandlet变换替换二维可分离小波变换的混合去噪方法。所提出的方法被用于去除高斯噪声和泊松噪声[185]。另一种空间-变换域图像去噪方法包括在小波域中将非局部均值算法与硬阈值相结合。所得图像用引导滤波器进行处理,以消除第一阶段引入的振铃伪影[186]。除此之外,[187]中还给出了一种基于带特定shearlet的图像去噪技术,该技术在不同的包含不同噪声量的子带中使用不同的阈值技术。在一项重要的工作中,Candes等人提出将全变差最小化模型与曲波和脊波扩展相结合,其中子带系数近似为阈值[188]。许多作者更倾向于将全变差最小化方案与其他变换域表示相结合。在这类图像去噪方法中,[189]是Durand和Forment给出的另一项工作,其中在将噪声图像分解为子带后,采用全变差最小化来对噪声系数进行阈值处理。
在最近的一项工作中,为了在提高PSNR的同时解决Gibbs类伪影的问题,Shahdoosti等人提出了一种基于总变差最小化的ripplet公式的图像去噪算法[190]。在他们的工作中,使用双支持向量机获得光滑和纹理区域。代替噪声图像的变化的最小化,该方法试图最小化从波纹子带的非纹理区域获得的图像中的变化。除此之外,另一项工作提出将非线性各向异性扩散与曲波收缩相结合[191]。在这种基于小波变换的后收缩方法中,对重建图像进行全变差扩散处理,通过约束投影只抑制高频无关系数。通过结合DTCWT的移位不变性和脊波变换的方向敏感性,提出了一种新的混合方法来抑制AWGN [192]。
2013年,Shreyamsha提出了一种基于高斯/双边滤波和噪声阈值的去噪方案。该方案提出了方法噪声的概念。这里的方法噪声是指原始图像和经过一定算法去噪后的图像之间的差异。差异本身就是噪声,称为方法噪声。在GBFMT(高斯/双边滤波器方法噪声抑制保持)中,假设噪声图像被具有零均值和已知方差的高斯白色加性噪声破坏,所述已知方差可以变化以在高噪声值和低噪声值下进行测试。使用双边滤波对受损图像进行滤波,并使用硬阈值[193]在小波域中对由此获得的残差图像进行阈值处理。在类似的工作中,双边滤波器被非局部滤波器取代,以利用方法噪声阈值(NLMNT)的概念[194]。从那时起,在方法噪声阈值的背景下尝试了许多不同的组合[195]。类似地,在[196]中,去噪的概念已经扩展到维纳滤波器方法和剪切波变换的混合。多尺度和多分辨率表示导致了PSNR和MSE值的提高。除此之外,许多混合图像去噪技术已经采用稀疏表示和字典学习方法。为了缩短对这些方法的更高层次的理解,一些混合方法在基于稀疏表示的方法下进行了简要介绍,一些方法在图像去噪的最新趋势下列出。
通过广泛的文献调查,已经观察到,多分辨率,稀疏性和边缘检测等属性使得变换方法非常流行的去噪方法。然而,这些方法不能很好地表示平滑过渡,并且往往会丢失复杂的图像细节和特征。另一方面,边缘保持空间域滤波器倾向于保留噪声特征和伪影。为了克服这些问题,正在通过利用空间和变换域滤波器的特性进行各种即兴创作。这些具有直观自适应阈值的组合方法在有效的图像去噪的背景下在客观和主观评价方面具有很大的范围。
6.稀疏表示和字典学习方法
冗余和稀疏表示长期以来一直是图像去噪研究人员的基本动态基础。需要冗余的一个主要原因是其能够诱导平移不变性。通过使用各种多尺度和方向变换(如曲波、脊波、刷波和方向波),稀疏性和冗余性的概念得到了广泛的应用。在图像表示方法中引入稀疏性和冗余性的同样方法上,设计了基于稀疏表示的字典学习方法。这种方法的不同之处在于它具有基于示例的恢复功能。在这一类别中,常见的成功方法是BLS-GSM(贝叶斯最小二乘高斯尺度混合),它将图像去噪问题表述为使用贝叶斯最小化的反问题,因此需要在某种变换域中基于熵、平滑性或稀疏性的图像先验。虽然这些方法倾向于从代表图像先验的数学表达式中推导出其图像估计,但这些基于示例的方法倾向于从预先存在的图像中推导出其图像先验。在将先验学习的思想纳入稀疏和冗余表示中时,最重要的是提供一组学习参数的字典。这些方法消除了对固定基函数的需求,就像在曲波或Contourlet变换中的情况一样[197]。
正交匹配追踪(OMP)的引入为图像去噪问题的开始奠定了基础,作为具有冗余字典的直接稀疏分解技术[198-200]。在这类方法中,去噪图像的质量在很大程度上取决于字典的类型,该字典可以从无噪声图像的补丁中学习,也可以从噪声图像本身的自适应学习。
换句话说,可以说这些方法适应字典。这些方法通常用作基于块的去噪方法,并且在重叠块的情况下进行平均。从学习的例子构建的字典包含原子,其可以被理解为使用原子的稀疏线性组合来近似补丁。
在本节中,我们只回顾一些主要的字典学习方法,它们是K-奇异值分解(K-SVD),期望补丁日志似然(EPLL),K-局部学习字典(K-LLD),学习同时稀疏编码(LSSC),基于补丁的局部最优维纳(PLOW),训练滤波器,度量转向核回归(SKR)滤波器,卷积稀疏表示(CSR),局部自适应回归核(LARKs)和其他各种[4]。
Elad等人的目标是在贝叶斯全局估计器中嵌入局部过完备字典,提出了K-SVD作为一种迭代去噪方法,该方法自适应地从噪声图像的整个像素范围中学习。每次迭代包括采用OMP来估计每个补丁的系数(初始字典用于计算所有补丁的稀疏近似),并使用奇异值分解一次更新一列的字典。每个补丁可以从字典中的一系列补丁中估计出来。K-SVD模拟了使用学习字典的去噪时代,使用更具自适应性的模型恢复图像信息。然而,由于其计算负担和字典的有限大小,这种方法在大补丁的情况下仍然需要改进[197]。在另一种称为K-LLD的方法中,为了避免选择具有不同结构的补丁被误认为相似匹配,使用SKR分类[201]。
LSSC方法与K-SVD非常相似,其中使用相同的稀疏分解对相似的补丁进行降噪。该方法以非局部方式利用图像的自相似性标准[202]。这种方法背后的动机是,在K-SVD的情况下,输入的微小变化可能导致字典原子的显着变化,这是不希望的。因此,LSSC被提出作为一个即兴的K-SVD,利用类似的补丁在非本地的方式。这种方法无疑加快了在非结构化字典中搜索原子的过程。已经发现该方法提供了绝对的最先进的去噪性能,但是其具有高计算复杂度。虽然LSSC通过在稀疏分解中使用聚类实现了令人满意的去噪效果,但其性能在很大程度上取决于初始字典,该字典必须用高质量的图像离线训练。CSR去噪方法能够实现比LSSC高得多的性能,沿着具有较低的复杂度[4]。
在图像去噪方法中,主要问题在于提取能够确定相邻系数之间关系的适当特征。大多数去噪算法都不能有效地满足这一目的。DNN是一类机器学习算法,它提出学习没有任何先决条件假设和数据分布的灵活模型。在这类图像去噪算法中,Shahdoosti和Remza提出了一种基于CNN模型和shearlet变换的新型图像去噪算法,该算法在特征分类方面的性能优于各种现有的最先进的去噪算法[244]。支持向量机(SVM)是Vapnik在1998年提出的另一种重要的字典学习算法,并已广泛应用于函数估计和分类问题。它们是在统计学习理论的背景下开发的,旨在最大限度地降低结构风险。最小二乘支持向量机是一种计算效率高、速度快的支持向量机,因为它可以代替二次规划求解线性方程组。
在Wang等人提出的一项工作中,在2010年将LS-SVM与非抽样小波变换相结合,以便在保留边缘的同时对图像进行降噪[246]。然后在2013年,他再次使用LS-SVM将NSCT系数分类为噪声系数和边缘系数。在LS-SVM的帮助下,不同尺度下的NSCT系数被分类为平滑区域和包含纹理区域的区域。为了最大化纹理信息,边缘系数保持不变,而噪声系数使用贝叶斯阈值阈值。结合NSCT(多尺度,多方向,平移不变)和LS-SVM,该方法能够客观地优于Probshrink和BLS-GSM等方法[247]。
字典学习方法的主要问题是它们的计算复杂性,因为它们需要多次迭代并且具有非结构化字典,这使得它们不适合真实的时间应用[4]。
7.图像去噪的最新趋势
从局部滤波到非局部自相似性探索,从自适应阈值到学习字典,去噪领域以一种令人费解的方式发展。对文献中报道的这些大量方法的研究是压倒性的,几乎不可能讨论这些开创性方法中的每一种。在这部分文献中,我们试图着手去噪领域的最新趋势和主要行动计划。
在2010年,Chatterjee和Milanfar在[205]中回避了去噪的最终界限的固有问题。有这么多的方法涌入,人们思考是否有一个最终的限制去噪。在这项工作中,作者估计下限图像去噪的MSE。据描述,尽管最近的技术有了惊人的增长,但仍有改进的空间,去噪领域尚未死亡。
2012年,这些作者提出了PLOW滤波器,其动机是上述工作中列出的统计观察。他们采用了基于补丁的冗余维纳滤波器,其中参数模型的设计考虑了几何和光度相似性。该方法已被证明具有极高的图像视觉质量,优于著名的BM 3D [206]。
继2013年张等人对混合域图像去噪的深入研究之后,他们在空间变换域提出了一种基于联合统计建模(JSM)的图像恢复方法。该方法开创了一种新途径,能够同时利用局部平滑性和非局部自相似性,从而生成高保真度的图像重建。JSM是一个混合平台,它将基于正则化的方法(总变差模型)和非局部方法有效地结合在一起。通过严格的实验,证明了该算法对高斯噪声和脉冲噪声均有效[207]。
由于相似补丁的数量不足以及由于在较大图像的情况下复杂性的增加,例如BM3D的基于补丁的方法的性能固有地受到限制。因此,Talabi和Milanfar在2014年设计了全局图像去噪滤波器(GLIDE),该滤波器考虑了图像的所有相似或信息部分,为这一研究领域做出了重大贡献。在该方法中,在对输入图像进行预滤波之后,对少量像素进行采样并将其作为输入馈送到Nystrom方程方法。通过对滤波器矩阵[208]的本征值进行阈值化来估计最终图像。
另一项基于Direction let域中尺度间和尺度内依赖性的混合的工作在2015年[209]中提出。首先将图像变换为Direction let系数,然后使用双变量PDF对系数进行建模,以利用尺度内和跨尺度依赖性。这种方法比小波域的二元收缩方法有更好的性能。
图像去噪的另一种激励方法见[210]。这项工作解决了一个自然的问题,自适应地替换图像使用图像场景的先验知识。它利用外部和内部的相关性,从而聚类相似的补丁的噪音和真实的图像在网络上。该方法提出了一种基于图优化和变换域滤波的两阶段图像去噪 方法。该方法能够在宽范围的噪声值上优于BM 3D。最近在2018年,一些作者研究了图像去噪问题,将非线性扩散模型演绎为交叉扩散问题[211]。
基于块的处理已经成为图像恢复问题的核心思想。这个过程包括将图像分解成类似的重叠块,并通过简单的平均来恢复它们。该方法除用于图像去噪外,还被广泛应用于图像修复和去模糊等领域。然而,这些基于补丁的方法中的主要缺陷是对中间结果强加先验,而不是处理最终结果。EPLL就是为了解决这个问题而设计的。在2016年的一项工作中,提出了一种扩展和改进EPLL的方法[212]。该方法不仅对最终图像赋予先验知识,而且对从输入图像中提取的不同尺度的图像块构造多尺度先验知识。该方法与包括BM3D在内的主流图像恢复算法相比,取得了显著的改进。
在[213]中,已经设计了另一种优化的基于像素的加权平均方法用于基于块的图像去噪。各种图像去噪算法在保留残差的同时恢复干净的图像。留下的残留图像应该包含不相关的污染噪声,但它也包含来自干净图像的一些残余。在一种基于图像块的去噪算法中,提出了一种正则化方法,使残差块尽可能不相关。作者据此生成了稀疏编码的解析解和新的在线词典[214]。
已经讨论了NSST在多分辨率分析和平移不变性方面的卓越性能。该方法在一项工作中得到了进一步的应用,该工作使用SUnSAL在NSST域中构建了基于空间规则性的特征向量。SUnSAL分类器区分基于边缘的系数和基于噪声的系数,这些系数是使用贝叶斯收缩方法的阈值[215]。
2016年,先驱者Shahdoosti和Khayat提出了一种创新且有效的图像去噪方法,该方法融合了非下采样剪切波变换(NSST)、SUnSAL和异性扩散[249]。为了获得多个尺度和方向分量,将NSST应用于含噪图像。然后,使用SUnSAL分类器区分含噪系数和边缘相关系数。主要思想是利用扩散方程最小化噪声系数的能量。从异性扩散滤波系数和未改变的纹理系数中获得的无噪图像显然没有伪影,保留了边缘信息,其性能优于BLS-GSM、Probshrink以及文献[4]中提出的方法。
在广泛的图像去噪无缝的努力,主要的基本方法是边缘恢复。这种方法在[216]的最近工作中得到了研究。该方法包括一个基于各向异性扩散模型的边缘检测和融合模型。获得去噪图像,并且用通过各种基于边缘检测和正则化的方法提取的边缘来替换去噪图像的边缘。
通过对双边滤波器边界的重新定义,提出了一种新的边界保持滤波器--共生滤波器,该滤波器通过对频繁出现的像素点进行加权,而不是考虑高斯范围。另一方面,低出现像素将在同现矩阵中具有较低权重。该方法在恢复边缘的同时,还保留了边界。本文介绍了共生矩阵的定义及其在去噪中的应用,并为设计学习共生矩阵的各种新方法开辟了一个方向[217]。
在图像去噪的随机方法的情况下,文献中已经给出了基于马尔可夫链蒙特卡罗采样的替代方法。该方法动态地适应图像特征和噪声统计,在图像去噪方面提供高性能,同时表现出较低的复杂度。该方法基于AWGN来制定问题,从噪声图像中计算先验[218]。该加性图像去噪问题被公式化为贝叶斯最小二乘问题,其中目标是在给定噪声图像作为测量和估计后验的情况下估计去噪图像。使用基于自适应Geman-McClure目标函数的非参数重要性加权马尔可夫链蒙特卡罗抽样方法估计后验[219]。[220- 223]中给出了这种方法的一些改进方法。
在许多去噪方法中,研究人员目前的主要焦点是利用非局部自相似性,将它们与其他结构保持技术相结合,或者改进现有的基于自相似性的方法,如BM3D和NLM。
在[254]中展示了一种采用最近邻协同过滤(NN-CF)的新补丁匹配方法。这项工作提出了两种变化的CF为基础的补丁制作标准。通过将新的补丁制作方法应用于各种基于补丁匹配的去噪方法(如BM 3D和NLM),作者描述了补丁制作的鲁棒性和集成外部和内部去噪的新公式。[255]中通过使用粒子群优化说明了使用广义柯西滤波器的图像去噪方法。
在[256]中给出了一种提供稳定噪声水平估计的细节保留聚类去噪方法。该方法采用自适应聚类方法对具有不同特征的非局部斑块进行精细聚类。该方法通过三个步骤去除噪声,即渐进PCA阈值化、基于Marchenko-Pastur定律的SVD阈值化和系数PCA域LMMSE滤波。
在NLM去噪的众多即兴作品中,[257]给出了一项有效利用自然图像中普遍存在的仿射不变自相似性(AV-SS)的工作。该方法通过使用AV-SS执行适当的补丁比较来适应补丁的不同大小和形状,从而能够选择更相似的补丁。它已被证明,这种方法实现了顶级性能的定量分析。
与假设噪声问题固定不同,针对实时去噪问题,[258]中的作者提出了一种盲去噪方法,该方法允许从单幅图像中估计与信号和频率相关的噪声。该方法在真实的JPEG图像上表现出高效的性能,尽管其形成模型未知,但它仍展示了最先进的性能。
除了BM 3D、PLOW、LPG-PCA和形状自适应SVD之外,在[259]中给出了一种使用非局部自相似性和低秩近似的方法,并且该方法被提出作为基于面片的方法的修改。利用块匹配技术对初始相似块进行分类。然后利用奇异值分解对每组相似面片进行分解,只选取奇异向量和最大奇异值。最终图像是通过聚合处理过的补丁生成的。该方法不仅能有效地去除噪声,而且能实现最优的能量压缩,具有较高的计算效率。
随着图像表示技术的发展,限制算法的计算量成为图像去噪的主要研究方向。非局部方法已被证明是最有效的去噪准则。然而,人们发现一些最近邻方法会在结果中引入偏差。因此,Frosio和考茨在2019年提出了一种统计近邻方法,该方法描述了在灰度和彩色图像的情况下,仅需要较少的统计近邻来生成质量更好的图像[260]。
在另一项限制BM3D在地震数据上性能的工作中,作者通过在噪声信号和真实信号之间包括一个因子,即局部相似性指标,设计了一种对BM3D的即兴创作。该方法通过恢复信号能量并将其加回去噪结果来防止信号能量的流失。这种有趣的方法已被证明可以确保最终结果中结构表示的保真度[261]。
掌纹识别是生物特征识别中一种可靠的身份识别方法,是图像处理的一个重要应用。然而,低分辨率掌纹中的噪声的存在显着降低基于它们的生物特征识别方法。在[262]中,提出了一种生成式逆向网络方法来减轻噪声的存在,其在去噪后将错误率从10.841%降低到1.532%[262]。为了保留互补的上下文信息并重建精细的图案和纹理,Li等人提出了多尺度门控融合网络(MGFN)作为深度卷积网络的即兴作品,用于图像去噪。这种方法能够提出一个简单但有效的损失函数来训练网络[263]。
针对高光谱图像不同波段的去噪问题,将去噪问题转化为波段融合问题 。在[264]中,首先选择目标噪声频带,并且为了对其进行降噪,将与其相关的上级质量频带融合在一起。该方法已被描绘为显示上级优于现有的各种HSI去噪方法在视觉和客观的分析。
为了利用各种技术的属性,在[265]中提出了一种混合去噪方法,该方法集成了与图像块的自相似性相关的TV正则化和组稀疏性 。这种级联技术由四个步骤组成,即块匹配,基向量更新,稀疏正则化和TV平滑 。与其他采用固定基函数的方法相比,该方法使用了从SVD得到的更新的局部基向量来诱导稀疏性。这种方法已被证明优于诸如BM 3D本身的方法[265]。另一种最近发表的去噪方法结合了核范数、TV范数和L1范数,这有助于利用自然图像的低秩特性,增强平滑度并去除稀疏噪声[266]。
在探讨深度学习中的方法噪声概念时,文献[267]提出了一种基于深度前馈去噪卷积神经网络的方法来去噪医学图像。与其他方法不同,该方法通过学习噪声图像中的残留噪声来进行去噪,其中,去噪图像是通过从噪声图像中减去学习到的残留噪声来获得的。实验结果表明,该方法比其他一些方法具有更好的性能。文献[268]给出了另一种基于残差相关的图像去噪正则化方法。在该方法中,执行了分析和新颖的在线字典更新,为稀疏编码(即原子选择和系数计算)生成解决方案。该方法利用了包含干净图像残留部分的残差图像的方法。
8.图像去噪的应用
图像去噪是图像处理的基本问题,在各个技术领域都有应用。随着科学技术的飞速发展,人类活动范围不断扩大,对信息的需求也越来越高,图像的分辨率越来越高噪声干扰了这些信息,图像去噪对于后续的图像分析变得越来越重要。图像去噪不仅可以生成视觉上令人愉悦的图像,而且可以"揭示"被破坏的信息像素,以便进一步的图像分析和信息提取。图像去噪的过程没有留下不受影响的应用领域,包括医学成像,生物识别,遥感,HVS(人类视觉系统),军事监视和红外图像去噪。
8.1.医学图像去噪
磁共振成像用于身体各种器官的软组织的可视化。MRI总是会受到各种噪声因素的影响,如可变场强、射频脉冲或接收器带宽。在文献[223]中,受Radon变换的启发,提出了一种基于小波变换的多尺度MRI噪声抑制方法。将噪声建模为高斯噪声,利用平移不变小波变换对含噪MR图像进行多尺度分解 。利用Rician噪声分布估计噪声,并通过逆Radon变换得到最终的去噪图像。该方法进行了评估,使用体模,模拟和人脑MR图像。图4中给出了[223]中描述的模拟大脑图像的结果。
计算机断层扫描是另一种成像技术,但由于硬件限制这一固有问题,图像会受到噪声干扰而导致质量下降。因此,人们设计了许多方法来对CT图像进行降噪处理[269]。在文献[224]中,作者提出借助基于Tetrolet变换的局部收缩规则来保留边缘、角点、纹理和锐边,从而对高频系数进行降噪。该方法在降噪和结构保持方面表现良好。该方法已通过均方误差(MSE)和峰值信噪比(PSNR)进行评估,其中一组数据集的视觉结果取自文献[224],如图5所示。
图5.原始CT图像;= 20时的噪声图像;使用双正交小波阈值的去噪图像; tetrolet收缩规则(从左到右)[224]。𝜎
8.2.水下图像去噪
水下激光成像已经被迅速地用于获取关于水下区域的信息。然而,由于含水介质引起的具有噪声的采集的损坏,图像分辨率降低。水下成像中产生噪声的主要原因是激光波在水中的衰减和后向散射,导致成像质量下降。[225]中的一项工作,分析了MATLAB编码的图像去噪算法在水下图像中的应用。采用中值滤波、均值滤波和基于小波变换的混合滤波方法对水下声源图像进行了复原 。灰度图像的结果已在图6中给出。
见图6。水下噪声图像;使用平均滤波器的去噪图像(第一行L-R);中值滤波器;小波法(第二行L-R)[225]。
8.3.遥感图像去噪
遥感卫星图像在信号传输或获取过程中总是受到噪声的干扰。为了改善卫星图像的视觉效果,提取和分析卫星图像中的信息,去除图像中的高频噪声成分成为必然。利用空间域和变换域的方向相关性进行图像去噪是一种常用的方法。然而,这些方法的成功在很大程度上取决于取向相关测量的量。为此,在[226]中,作者提出了一种混合方向提升算法用于卫星图像的去噪。该方法将像素分类和方向估计结合起来。对陆地遥感卫星图像进行去噪处理。Kochi数据集的结果如图7所示。
见图7。Kochi LANDSAT图像;方向估计; HDL去噪图像(左-右)[226]。
8.4.SAR图像去噪
对SAR(synthetic aperture radar,合成孔径雷达)图像进行去斑处理 ,是遥感领域的重要研究问题之一。这种成像技术在军事监视中有着广泛的应用。为了克服基于稀疏表示的图像去噪方法的局限性,文献[227]提出了一种新的基于剪切波域稀疏表示和连续循环旋转的图像去噪算法 。在对含噪图像进行Shearlet变换分解后,利用稀疏表示域的循环旋转理论构造最优去噪模型。该方法不仅改善了PSNR,而且还显著改善了视觉结果,如图8所示,以便于读者理解。
见图8。噪声SAR图像; SAR去噪图像[227]。
8.5.红外图像去噪
红外成像技术是用来捕捉金属目标辐射热的一种技术,在夜间成像和军事侦察中有着广泛的应用。由于低光照条件和大气扰动,红外图像被泊松噪声污染 。在[228]中,Anscombe变换被用于将泊松分布推广到高斯分布并对红外图像进行去噪。该方法包括小波域中基于总变分正则化的即兴创作,以便从低光红外图像中去除重泊松噪声,并且在图9中描绘了相同的内容。
参考图9。有噪声的红外图像; NLM的降噪结果; BM 3D;方法见[228]。
9.实验装置
为了提出一个性能比较各种现有的流行的去噪技术进行了分析的基础上(i)视觉分析;(ii)客观分析。源图像数据集选择为House Image; MR(磁共振图像)图像; PAN(全色图像)[229] ;以反映图像内容复杂性的足够多样性。这些图像包括自然图像、医学图像和遥感图像。实验在Intel® Core(TM)i5- 72000 U-CPU @ 2. 50 GHz处理器和8 GB内存上使用MATLAB TM进行。这些图像的分辨率为256 × 256。
9.1.图像污染模型
在源图像中加入标准差为10、20、30、40和50的AWGN噪声,以检查去噪方法性能的一致性。
9.2.客观评价指标
为了在数字上量化去噪算法在其噪声去除程度和边缘保护能力方面的性能,已经设计了各种客观度量,并且在文献中很容易采用。在去噪领域中采用的主要性能指标是(按受欢迎程度排序):PSNR(峰值信噪比)(均方误差)SSIM(结构相似性),VIF(视觉图像保真度),熵,AD(平均差异),MD(最大差异)、归一化绝对误差(NAE)和归一化相关性[4,这些度量的数学公式沿着连同它们的重要性总结在表3中。
需要注意的是,PSNR改善或任何其他客观度量的相对增量不是图像去噪的最终目标。图像去噪的主要目标是生成具有高视觉质量、更好的边缘保留和模式识别的去噪图像,这些图像构成人类视觉系统(HVS)的组成部分。与HVS相关的研究表明,人眼很难理解方向、尺度和纹理表面的细微差异。然而,它对清晰的轮廓,变形的面孔,文字和符号,平滑区域中的人工制品更加敏感。此外,视觉分析对于比较不同的图像去噪方法非常重要,因为人类通常是最终用户,因此视觉分析在讨论任何类型的图像去噪技术时都更加重要。
本节中,我们使用了客观评价指标峰值信噪比(Peak Signal-to-Noise Ratio)来对各种方法进行性能比较。实验分析部分是本次综述的重要部分。我们从各类去噪方法中选择了实验方法。所有选定的实验方法都在我们自己的多样化数据集(医学图像、自然图像和遥感图像)上进行了加性高斯白噪声的测试。在本节中,我们分析了各种方法在不同噪声水平和不同类型图像上的实际性能。许多方法已在文献中针对各种数据集进行了实验演示。在本手稿中,我们试图从每类去噪方法中选择一些代表性方法。其中一些方法已在上述文本中进行了综述,而另一些方法则仅引用以供读者参考,因为讨论所有方法几乎是不可能的。此外,我们将从客观和主观评价的角度全面介绍这些方法。
在空间域滤波方法 类别下,我们采用了以下方法:SBF[48]、RBF[54]、WBF[54]、NLM[2]、双调滤波器[75]、扩散滤波器组合(DF(A-B))[242]、高斯滤波器[8]、中值滤波器[8,15]、高斯场专家(GFOE)[270]、总变差最小化[276]、非局部广义相对总变差(NLGRTV)[271];不同的变换域方法 包括:Vi-hard[94]、Vi-soft[95]、SURELET[97]、NSST[59,144]。在统计方法类别 下,我们纳入了马尔可夫随机场(MRF)[163]。为了说明不同的稀疏表示和字典学习方法,我们在实验分析中纳入了非局部集中稀疏表示(NCSR)[272]、局部自适应核回归(LARK)[273]和深度神经网络(NN)[274]。除此之外,其他一些代表性方法包括:LPGPCA[153]、BM3D-SH3D(联合图像锐化和去噪)[243]、BM3D[151]、BM3D-SAPCA[157]、PGPCA(基于块的全局主成分分析)、PLPCA(基于块的局部主成分分析)、PHPCA(基于块的分层主成分分析)[275]。在混合域下采用的方法包括:GBFMT[193]、NLFMT[194]。这些方法在低至高噪声水平下的峰值信噪比客观结果已在表4中给出。由于空间限制,图10中仅展示了标准差为30时的House图像的视觉效果。表4和图10中给出的实验结果总结了各种图像去噪技术的主观和客观评价。
见图10。在标准差为30时,使用各种方法对房屋图像进行去噪。
9.3.客观分析
为了量化和分析不同领域的图像去噪性能,我们使用标准差为10、20、30、40和50的加性高斯白噪声(AWGN)模拟了磁共振(MR)图像、房屋图像和PAN图像。我们使用31种代表其各自领域的图像去噪方法来去除这些图像中的噪声,并计算峰值信噪比(PSNR)。这些方法的参数设置是按照参考文献中作者给出的进行选择的。从表4中可以清楚地看出,在磁共振图像的情况下,BM3D及其形状自适应主成分分析(SAPCA)版本的PSNR值最高。房屋图像的情况也是如此,因为BM3D、SAPCA和NCSR的PSNR最高。然而,在PAN图像的情况下,只有SAPCA能够提供最高的PSNR,而NCSR和BM3D提供的PSNR相对较低。可以看出,数据集的类型在确定特定算法的性能方面起着重要作用;例如,SAPCA在标准差为30时,对房屋图像的PSNR为32,而对PAN图像的PSNR为22。
此外,PSNR的第二个级别是由DNN、LPGPCA、NSST、SURELET和INLM等方法用于MRI; NCSR、LPGPCA、NSST、SURELET和INLM用于House图像; WBF、DNN、PLPCA、PGPCA、NCSR和LPGPCA用于PAN图像,标准差为30。
其他方法,如双调滤波器,SBF和DF(A-D),给出了所有三种类型的数据集的PSNR的最低值。
9.4.视觉分析
为了极简主义,在标准偏差30处的去噪图像的视觉结果已经在手稿中示出。参考图10,很明显,诸如BM 3D、SAPCA、INLM、LPGPCA和NCSR的基于非局部相似性和补丁的方法展示了如在所得图像中的顶级性能:边缘被很好地保留;视觉质量高,同质区域没有噪声,低对比度对象是可见的,纹理也被很好地保留,并且没有出现伪影。这与非局部分组思想是图像去噪的主要改革的事实相一致。这些视觉效果与这些最佳性能技术的客观评价相呼应。
进一步的方法,如非下采样剪切波变换(NSST)、深度神经网络(DNN)、局部主成分分析(PLPCA)、主成分硬阈值(PHPCA)和全变差(TV1),在去除噪声和保持角落和边缘方面表现出色。然而,这些方法会在边缘周围产生一些振铃伪影。一些方法,如投影梯度主成分分析(PGPCA)、核回归(Ker. Reg.)、非线性分数阶多尺度变换(NLFMT)和SURELET,会导致过度平滑并产生人工纹理。其余方法在去噪能力和边缘保持方面表现较差。
SURELET变换给出了比剪切波变换更高的PSNR值,然而,可以看出,在视觉结果的情况下,SURELET执行的去噪量较低,这可能是由于边缘特征的保存较差,并且噪声仍然持续。WBF和RBF在较高噪声水平下的去噪性能优于SBF。这可以归因于以下事实:SBF简单地禁用较高噪声水平的去噪,而WBF充分地去除高水平的噪声沿着边缘的保留。一些混合方法,如GBFMT和NLFMT,也能够实现与vi-hard和vi-soft相当的去噪量。此外,与传统的小波阈值分割方法相比,该方法具有更好的视觉效果。在由vi-hard和vi-soft给出的视觉效果中,细节和边缘被彻底丢失。
除此之外,还有一个引人注目的观察结果,即尽管NCSR给出了高质量的视觉结果,但其定量分析显示与顶级评估相比PSNR水平较低。另一方面,SURELET方法描述了相当高的PSNR水平,其给出了低的视觉质量。像MRF模型这样的方法在客观和主观上都表现得很好。
因此,可以得出结论,像BM3D和SAPCA这样的方法既能保留边缘,又能使同质区域平滑。像NSST和DNN这样的方法能够保留低对比度细节,但它们往往会在边缘周围产生伪影,而像WBF、RBF和双调滤波器这样的方法能够保留边缘,但它们在同质区域的去噪性能往往较差。
除了不同方法的性能水平不同之外,可以看出,几乎所有方法都描述了随着噪声水平的增加而性能下降。
10.结论
本文对各种图像去噪方法进行了比较、分类和评价。大量研究人员的广泛努力已经产生了一个结构性文献,它表现出大量的渐进增长,通过一系列连续的增量改进来实现。虽然几乎不可能涵盖所有这些方法,但我们已经用代表每个类别的几种方法涵盖了图像去噪的每个领域。这些方法被分为五类,即空间域方法,变换域方法,统计域方法,混合方法和稀疏表示和字典学习方法 。图像去噪的基本思想是在去除噪声的同时保持图像的边缘 。图像去噪的时代从基本的平均滤波开始,到后来的边缘保持滤波。在空间域,改进的非局部均值滤波器表现良好。通过各种分析过程,我们观察到,利用非局部图像相似性或非局部分组是提高图像去噪结果的主要改革 ,例如NLM滤波器和BM3D 。在变换域方法中,具有过完备基函数、更多尺度、方向和方向的变换产生了更好的结果 。对于图像变换而言,要在图像去噪中表现出色,需要具有多分辨率、稀疏性、平移不变性和各向异性等特性。在BLS-GSM中探索过完备基函数,其性能优于具有固定基函数的小波。基于多分辨率的算法比单分辨率算法表现更好。
空间域滤波器能够消除高频噪声,但以模糊低对比度信息为代价,而变换域方法能够保留均匀区域中的细节,但倾向于在边缘周围引入振铃伪影。字典学习和稀疏表示方法虽然具有冗余和过完备的字典,但往往会导致计算负担。
据观察,一个理想的去噪算法应该具有过完备表示,非局部分组,自适应基函数和计算效率。单个去噪算法不能表现出期望的适用性水平,即使对于BM3D也是如此(非局部分组导致搜索复杂性)。因此,建议将不同领域的各种方法联合收割机,以利用不同领域的属性,同时克服彼此的局限性。混合域方法除了在PSNR上有实质性的增加外,还获得了去噪图像的视觉质量的辉煌水平 。除此之外,可以说HVS是这些方法性能评估的主要评估因素。从详细的调查中可以清楚地看出,每一类方法都很重要,都有其特定的应用。例如,时间敏感的应用需要局部滤波或变换域方法,因为非局部分组导致计算负担 。虽然字典学习方法显着提高了性能,但它们不适合内存和复杂性是主要问题的地方,而且在线训练在实际应用中也不可行。
此外,已经观察到,大多数方法倾向于留下残余噪声,并且不能在更高的噪声水平下维持它们的性能。去噪的时代似乎正在接近它的界限。然而,在性能一致性、高视觉质量和保留精细特征细节、伪影减轻、更结构化的字典和自适应基函数方面,它仍然保持着改进的余地