第三章：图像增强
一、概念
1.图像增强是通过某种技术有选择地突出对某一具体应用有用的信息，削弱或抑制一些无用的信息。
-
图像增强处理不是无损处理，不能增加原图像的信息。
-
图像增强按所处理的对象 不同可分为： 灰度图像增强 和彩色图像增强 。
图像增强按增强处理所在空间 不同分为： 空域增强方法 和频域增强方法。
●空域增强 ：直接在图像所在的二维空间进行处理，即直接对每一像素的灰度值进行处理。
空域增强按技术不同 可分为灰度变换 和空域滤波 。灰度变换是一种点处理方法。
灰度变换：基于点操作，将每一个像素的灰度值按照一定的数学变换公式转换为一个新的灰度值。常用方法：对比度增强、直方图均衡化等。
空域滤波：基于邻域处理，应用某一模板对每个像素及其周围邻域的所有像素进行某种数学运算，得到该像素的新的灰度值。图像平滑与锐化技术就属于空域滤波。
●频域增强：首先经过傅里叶变换将图像从空间域变换到频率域，然后在频率域对频谱进行操作和处理，再将其反变换到空间域，从而得到增强后的图像。
4.图像增强效果评价：定性和定量评价。
●定量评价：无统一标准。一般从图像的信息量、标准差、均值、纹理度量值和具体研究对象的光谱特征等方面与原始图像进行比较评价。
●定性评价：主要从人的主观感觉出发，依靠图像的视觉效果进行评价。 定性评价又分为绝对评价与相对评价。
●常用的灰度变换函数主要有：
1.线性灰度变换 ：将输入图像（原始图像）灰度值的动态范围按线性关系公式拉伸扩展至指定范围或整个动态范围。
2.分段线性灰度变换 ：局部扩展拉伸某一范围的灰度值，或对不同范围的灰度值进行不同的拉伸处理，即分段线性拉伸。分段线性拉伸是仅将某一范围的灰度值进行拉伸，而其余范围的灰度值实际上被压缩了。
3.非线性灰度变换 ：非线性拉伸不是对图像的整个灰度范围进行扩展，而是有选择地对某一灰度值范围进行扩展，其他范围的灰度值则有可能被压缩。
与分段线性拉伸区别:非线性拉伸不是通过在不同灰度值区间选择不同的线性方程来实现对不同灰度值区间的扩展与压缩，而是在整个灰度值范围内采用统一的非线性变换函数，利用函数的数学性质实现对不同灰度值区间的扩展与压缩。
常用的非线性扩展方法：(1) 对数扩展 (2)指数扩展 (3)幂次变换 （4）灰度分层 （5）位图切割
二、直方图变换增强
直方图是多种空间域处理技术的基础，直方图操作能有效地用于图像增强。
1.灰度直方图
灰度直方图是灰度值的函数，它描述了图像中各灰度值的像素个数。通常用横坐标表示像素的灰度级别，纵坐标表示对应的灰度级出现的频率（像素的个数）。
2.直方图的性质
（1）直方图反映了图像中的灰度分布规律，没有位置信息。
（2）任何一幅特定的图像都有唯一的直方图与之对应，但不同的图像可以有相同的直方图。
（3）直方图具有可叠加性：如果一幅图像有多个不相连的区域组成，并且每个区域的直方图已知，则整幅图像的直方图是多个区域的直方图之和。
3.直方图的统计特征------矩、绝对矩、中心距、绝对中心距和熵。
4.直方图均衡化
通过把原图像的直方图通过变换函数修正为分布比较均匀的直方图，从而改变图像整体偏暗或整体偏亮，灰度层次不丰富的情况，这种技术叫直方图均衡化。 通过修改直方图的方法增强图像是一种实用而有效的处理技术。
●基本思想 ：是使目标图像的直方图具有平直的直方图，从而改变图像整体偏暗或整体偏亮，灰度层次不丰富的情况。直观概念是对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减，从而达到清晰图像的目的。
●基本方法 ：通过灰度r的概率密度函数，求出灰度变换函数，建立等值像素出现的次数与结果图像像素值之间的关系。形成一种自动调节图像对比度质量的算法。
5.直方图均衡化计算
即：给定原始直方图数据求均衡化的直方图数据。
★例题：
提示1：nk为该灰度级的数量。n为像素点个数，如64×64的图像，有64×64个像素点。
提示2：上图中rk是什么呢？因为有八个灰度级，所以平均分成八份。rk就是这八个灰度级的横坐标，如下图。
求解步骤：
（1）计算S0~S7的值。
（2）将计算的值以1/7为量化单位进行舍入。舍入后查看有几个灰度级。如下图有s0=1/7、s1=3/7、s2=5/7、s3=6/7、s4=1这五个灰度级。
原灰度级和均衡化的灰度级关系：r0映射为s0，r1映射为s1，r2映射为s2，r3和r4共同映射为s3，r5和r6、r7共同映射s4。
（3）将均衡化的数据相同的灰度级填入原直方图相应灰度级的位置。均衡化的nk则为映射到该灰度级的数据数量之和。右边就是我们均衡化后的直方图数据。
6.直方图规定化
直方图均衡化能够得到近似均匀分布的直方图。但由于变换函数采用累积分布函数，也只能产生近似均匀的直方图的结果，这样就会限制它的效果。
实际应用中，有时需要具有特定直方图的图像，以便能够增强图像中某些灰度级。直方图规定化方法可以按照预先设定的某个形状来调整图像的直方图。
直方图规定化就是把直方图均衡化结果映射到设想的理想直方图上，是对直方图均衡化处理的一种有效的扩展。直方图均衡化处理是直方图规定化的一个特例。
★例题：
解答：
（1）均衡化
（2）画表
三、空间平滑滤波增强
空域平滑滤波器 的设计比较简单，常用的有邻域均值法 和中值滤波法，前者是线性的，后者则是非线性的。
1. 邻域平均法（相当于卷积操作）
（1）非加权均值滤波
假设图像由许多灰度恒定的小块组成，相邻像素间存在很高的空间相关性，而噪声则相对独立。可以将一个像素及其邻域内的所有像素的平均灰度值赋给平滑图像中对应的像素，从而达到平滑的目的，又称均值滤波或局部平滑法。（目标图像像素周围像素求均值）
● 均值滤波法的增强效果：
（2）加权均值滤波
★例题：
解： g(7,5)=1/16(26×1+38*2+37×1+40×2+68×4+75×2+36×1+55×2+73×1)=53.875≈54
2. 中值滤波
●中值滤波优缺点：对脉冲干扰及椒盐噪声的抑制效果好，在抑制随机噪声的同时能保持图像中的细节部分，防止边缘模糊。对点、线等细节较多的图像不太合适。
★例题：
解题步骤：
中值滤波的效果：
3. 超限像素平滑法
4. 高斯滤波
四、频域增强
图像增强除可在空域进行外，也可以在变换域进行。变换域增强是首先经过某种变换将图像从空间域变换到变换域，然后在变换域对频谱进行操作和处理，再将其反变换到空间域，从而得到增强后的图像。
在变换域处理中最为关键的是变换处理，一般是线性变换，并且满足一定的正交条件。
在图像增强处理中，最常用的正交变换是傅立叶变换。当采用傅立叶变换进行增强时，把这种变换域增强称为频域增强。
1. 频域滤波的主要步骤:
(1)对原始图像 f(x,y) 进行傅立叶变换得到 F(u,v)。
(2)将 F(u,v) 与传递函数 H(u,v) 进行卷积运算得到 G(u,v)。
(3)将 G(u,v) 进行傅立叶逆变换得到增强图 g(x,y)。频域滤波的核心在于如何确定传递函数，即H(u,v)。
H(u,v)为传递函数/滤波器函数。
常用的傅里叶变换：一维傅里叶变换、二维傅里叶变换、一维离散傅立叶变换、二维离散傅立叶变换。
2. 频谱的频域移中
常用的傅立叶正反变换公式都是以零点为中心的公式，其结果中心最亮点却在图像的左上角，作为周期性函数其中心最亮点将分布在四角，这和正常的习惯不同，因此，需要把这个图像的零点移到显示的中心。例如把F(u,v)的原零点从左上角移到显示屏的中心。
频域移位特性：对频域信号进行移位，时域信号需要乘以一个对应的指数函数。图像信号在进行变换之前需要对每一个像素乘以(-1)^x+y次方。简言之，一正一负，每隔一个像素乘以一个负号。
3. 滤波方式
（1）低通滤波（消除噪声，但图像变模糊）
➢图像从空间域变换到频率域后，其低频分量对应图像中灰度值变化比较缓慢的区域，高频分量则表征图像中物体的边缘和随机噪声等信息。
➢低通滤波是指保留低频分量，而通过滤波器函数H(u,v)减弱或抑制高频分量的过程。
➢低通滤波与空域中的平滑滤波器一样可以消除图像中的随机噪声,减弱边缘效应，起到平滑图像的作用。
图像平滑是指受传感器和大气等因素的影响，遥感图像上会出现某些亮度变化过大的区域,或出现一些亮点(也称噪声。这种为了抑制噪声使图像亮度趋于平缓的处理方法就是图像平滑。图像平滑实际上是低通滤波,平滑过程会导致图像边缘模糊化。
低通滤波器：
▲理想低通滤波器
理想低通滤波器效果：
缺点： 理想低通滤波器的平滑作用非常明显，但由于变换有一个陡峭的波形，它的反变换H(x,y)有强烈的振铃特性，使滤波后图像产生模糊效果。因此这种理想低通滤波实用中不能采用！！
▲巴特沃斯低通滤波器
特点：在通过频率与截止频率之间没有明显的不连续性，不会出现"振铃"现象，其效果好于理想低通滤波器。
▲指数低通滤波器
特点：指数低通滤波器从通过频率到截止频率之间没有明显的不连续性，而是存在一-个平滑的过渡带。指数低通滤波器实用效果比Butterworth低通滤波器稍差，但仍无明显的振铃现象。
▲梯形低通滤波器
特点：结果图像的清晰度较理想低通滤波器有所改善，振铃效应也有所减弱。应用时可调整D1值，既能达到平滑图像的目的，又可以使图像保持足够的清晰度。
（2）高通滤波（消除模糊，实现锐化图像）
图像的边缘、细节主要在高频，图像模糊是由于高频成分较弱产生的。为了消除模糊，突出边缘，可以采用高通滤波的方法，使低频分量得到抑制，从而达到增强高频分量，使图像的边沿或线条变得清晰，实现图像的锐化。
高通滤波器：
▲理想高通滤波器：
▲Butterworth滤波器：
▲指数滤波器：
▲梯形高通滤波器：
四种高通滤波器比较：
➢理想高通有明显振铃，图像的边缘模糊不清。
➢Butterworth 高通效果较好，振铃不明显，但计算复杂。
➢指数高通效果比Butterworth差些，但振铃也不明显。
➢梯形高通的效果是微有振铃、但计算简单，故较常用。.
➢一般来说，不管在图像空间域还是频率域，采用高频滤波不但会使有用的信息增强，同时也使噪声增强。因此，不能随意地使用。
（3）带阻滤波与带通滤波
（4）同态滤波
五、图像的锐化--图像变清晰，利于寻找边缘
1. 基本方法：微分方法、高通滤波。
图像在传输或变换过程中会退化，典型的现象是图像模糊，因而在图像判读和识别过程中，需要增强边缘信息，使得识别目标更容易。
图像锐化的目的是使灰度反差增强，从而增强图像中边缘信息，有利于轮廓抽取。轮廓或边缘是图像中灰度变化率最大的地方。因此，轮廓抽取就是要找一种方法把图像的最大灰度变化处找出来。
图像平滑通过积分过程使得图像边缘模糊，图像锐化则通过微分而使图像边缘突出、清晰。
图像边缘一般都是通过对图像进行梯度运算来实现的。
图像的边缘检测通常涉及到卷积操作，这可以看作是对图像进行导数操作的一种近似。在这种情况下，卷积核（filter）可以看作是导数的近似。
●梯度与边缘
梯度值正比于像素之差。对于一幅图像中突出的边缘区，其梯度值较大;在平滑区域梯度值小;对于灰度级为常数的区域，梯度为零。
边缘(Edge)是指图像局部特性的不连续性，灰度或结构等信息的突变处称之为边缘。例如，灰度级的突变、颜色的突变、纹理结构的突变等。图像边缘是图像最基本的特征。边缘是一个区域的结束，也是另一个区域的开始，利用该特征可以分割图像。
2. 梯度算子：利用像素点上下、左右邻点灰度差检测边缘。
我们需要将该算子与图像中的每个像素进行卷积运算。卷积运算的过程是将算子与图像的局部区域进行元素级别的乘法，并将乘积相加，最后得到一个新的像素值。这个新的像素值表示了该位置上的梯度大小。
（1）Roberts（罗伯特）算子--梯度交叉算子
（2）Sobel算子
过程：
两个方向的梯度相加：
（3）Prewitt梯度算子
（4）Laplacian算子---二阶微分算子
3. 四个算子的特点：
➢Roberts算子 ：利用局部差分算子寻找边缘，边缘定位精度较高，但容易丢失一部分边缘，同时由于图像没经过平滑处理，因此不具备能抑制噪声能力。该算子对具有陡峭边缘且含噪声少的图像效果较好。
➢Sobel算子和Prewitt算子 ：都是对图像先做加权平滑处理，然后再做微分运算，所不同的是平滑部分的权值有些差异，因此对噪声具有一定的抑制能力，但不能完全排除检测结果中出现的虚假边缘。虽然这两个算子边缘定位效果不错，但检测出的边缘容易出现多像素宽度。
➢Laplacian算子：不依赖于边缘方向的二阶微分算子，对图像中的阶跃型边缘点定位准确，该算子对噪声非常敏感，它使噪声成分得到加强，这两个特性使得该算子容易丢失一部分边缘的方向信息，造成一些不连续的检测边缘，同时抗噪声能力比较差。
六、色彩增强
➢常用的彩色增强方法有真彩色增强技术 、假彩色增强技术 和伪彩色增强 技术三种。
➢真彩色增强技术和假彩色增强技术两种方法着眼于对多幅灰度图像的合成处理，一般是将三幅图像分别作为红、绿、整个通道进行合成。
➢伪彩色增强技术是对一幅恢度图像的处理，通过一定的方法，将一幅灰度图像变换生成一幅彩色图像。
1. 真色彩增强
➢能真实反映自然物体本来颜色的图像叫真彩色图像。
➢在没有彩色摄像机的情况下，可以通过真彩色增强技术实现真彩色处理。
处理过程 ：首先用加有红色滤色片的摄像机(黑白摄像机)摄取彩色图像，经数字化送入一块图像存储板存起来，然后用带有绿色滤色片的摄像机摄取图像，经数字化送入第二块图像存储板，最后用带有蓝色滤色片的摄像机摄取图像，存储在第三块图像存储板内。这样，就可以在彩色监视器上合成一幅真彩色图像。
2. 假色彩增强
假彩色(falsecolor)增强是将--幅彩色图像映射为另--幅彩色图像，从而达到增强彩色对比，使某些图像达到更加醒目的目的。如将一幅自然彩色图像或多光谱图像通过映射函数变换成新的三基色分量，彩色合成使感兴趣目标呈现出与原图像中不同的、奇异的彩色。
3. 伪色彩增强
伪彩色(pesudo color)增强则是把一幅灰度图像的不同灰度级映射为一幅彩色图像的技术手段。
详细来说就是把一幅黑白图像的每个不同灰度级按照线性或非线性的映射函数变换成不同的彩色，得到一幅彩色图像，使原图像细节更易辨认。
●三种方法：
（1）密度分割法
特别地，如果将每一个灰度值都划分成一个区间，如将8bit灰度图像划分成256个区间，就是索引图像。可以认为索引图像是由灰度图像经密度分割生成的。
一般，每一灰度值区间赋予何种颜色由具体应用决定，并无规律可言，但相邻灰度值区间的颜色差别不宜太小/大。此法比较直观、简单，缺点是变换出的彩色数目有限。
（2）空间域灰度级-彩色变换
根据色度学的原理，将原图像f(x,y)中每一个像元的灰度值分别经过红、绿、蓝三种独立变换Tp(.), Ta(.)和Tp(.)，变成红、绿、蓝三基色分量R(x,y), G(x,y), B(x,y)分量图像，然后用它们分别去控制彩色显示器的红、绿、蓝电子枪，便可以在彩色显示器的屏幕上合成一幅彩色图像。
（3）频率域伪色彩增强
把黑白图像从空间域经傅里叶变换变到频率域，然后在频率域内用三个不同传递特性的滤波器将图像分离成三个独立的分量，对每个范围内的频率分量分别进行傅里叶反变换，得到三幅代表不同频率分量的单色图像，接着对这三幅图像作进一步的处理(如直方图均衡化)，最后将它们作为三基色分量分别加到彩色显示器的红、绿、蓝显示通道，从而实现频率域的伪彩色增强。
第四章 图像编码与压缩
1. 编码的必要性 ：数字图像的庞大数据对计算机的处理速度、存储容量都提出过高的要求，因此必须把数据量压缩。
➢图像、声音这些媒体确实具有很大的压缩潜力。
➢数据之所以能够压缩是基于原始信源的数据存在着很大的冗余度。以目前常用的位图格式的图像存储方式为例，像素与像素之间无论是在行方向还是在列方向都具有很大的相关性，因而整体上数据的冗余度很大，在允许一定限度失真的前提下，能够对图像数据进行很大程度的压缩。
➢压缩前后的图像可能会造成失真。失真一般都是在人眼允许的误差范围之内，压缩前后的图像如果不做非常细致的对比是很难觉察出两者的差别的。因此，数据压缩技术是多媒体系统中一项十分关键的技术。
2. 图像数据冗余包括：空间冗余、时间冗余、结构冗余、知识冗余、视觉冗余、图像区域的相同性冗余、纹理的统计冗余。
3. 图像编码分类
根据解压重建后的图像和原始图像之间是否具有误差，可以将图像编码与压缩方法分为无损压缩 和有损压缩 两大类。
根据编码作用域划分，图像编码分为空间域编码和变换域编码两大类。
若从具体编码技术来考虑，又可分为预测编码、变换编码、统计编码、轮廓编码、模型编码等。
（1）无损压缩：
➢无损压缩可以精确无误地从压缩数据中恢复出原始数据。常见的无损压缩技术包括：基于统计概率 的方法和基于字典 的技术。
➢基于统计概率的方法 ：依据信息论中的变长编码定理和信息熵有关知识，用较短代码代表出现概率大的符号，用较长代码代表出现概率小的符号，从而实现数据压缩。统计编码方法中具有代表性的是利用概率分布特性的霍夫曼(Huffman)编码方法，另一种是算术编码。
➢基于字典的技术：一 种是游程编码，适用于灰度级不多、数据相关性很强的图像数据的压缩。最不适用于每个像素都与它周围的像素不同的情况。另一.种称之为LZW编码，LZW在对数据文件进行编码的同时，生成了特定字符序列的表以及它们对应的代码。
（2）有损压缩：
有损编码是以丢失部分信息为代价来换取高压缩比。有损压缩方法主要有有损预测编码方法、变换编码方法等。
▲图像压缩编码的评价准则：
在图像压缩编码中，解码图像与原始图像可能会有差异，因此，需要评价压缩后图像的质量。描述解码图像相对原始图像偏离程度的测度一般称为保真度(逼真度)准则。
常用的准则可分为两大类：客观保真度准则和主观保真度准则。
主观保真度准则：一种常用的方法是对一组(不少于20人)观察者显示图像，并将他们对该图像的评分取平均，用来评价幅图像的主观质量。
4. 图像编码模型
一个图像压缩系统包括两个不同的结构块:编码器和解码器。图像f(x,y)输入到编码器中，编码器可以根据输入数据生成一组符号。在通过信道进行传输之后，将经过编码的表达符号送入解码器，经过重构后，生成输出图像。
编码器由一个信源编码器和一个信道编码器构成，解码器包括一个信道解码器，后面跟一个信源解码器。
如果编码器和解码器之间的信道是无噪声的，则信道编码器和信道解码器可以略去。
（1）信源编码器与信源解码器
信源编码器的任务是减少或消除输入图像中的编码冗余、像素间冗余或心理视觉冗余。
从原理来看主要分为三个阶段:
●第一阶段将输入数据转换为可以减少输入图像中像素间冗余的数据的集合。
●第二阶段设法 去除原图像信号的相关性。
●第三阶段是找一种更近于熵，又利于计算机处理的编码方式。
（2）信道编码器与信道解码器
➢背景:信源编码器几乎不包含冗余，它对噪声传送有很高的敏感性。
➢信道带有噪声或易于出现错误时，信道编码和解码处理作用明显。
➢信道编码器和解码器通过向信源编码数据中插入预制的冗余数据，即验证码，来减少信道噪声的影响。
5. 信道编码技术
（1）奇偶校验位--最简单的信道编码技术
➢奇偶校验位：用来添加至二进制数据中的比特位，通过确保整个二进制数据信息中"1"的个数是奇数还是偶数，来判断数据是否在传输过程中发生改变。
➢存在两种类型的检测方式：奇校验 和偶校验 。
➢在奇校验检测方式中，检查需要发送数据序列中1的个数。如果序列中1的个数是奇数，为了保证加上"冗余位"后，整串序列中1的个数最后为奇数，冗余位上应该设置为"0";如果在没有添加"冗余位"之前，数据序列中的1的个数为偶数，那么为了最后把1的个数凑成-一个奇数，冗余位上应该设置为"1"。
缺点： 数据在传输过程中发生了改变，但并不知道是哪一位发生了 改变，无法纠正错误。数据传输过程中有2位发生改变，此法无效。
（2）海明码
奇偶校验位只有1个冗余位，而海明码具有多个冗余位。即向被编码数据中加入足够的位数(冗余位)以确保可用的码字间变化的位数最小(海明距离)。
▲确定海明码的冗余位：
★例题： 假设需要传输的数据信息是由7位二进制位组成。设计海明码。
解题：
（1）根据上述公式确定冗余位数。
m=7，即2^r >=r+8，r至少为4。则冗余位为4位。因此，整个信息流有11个二进制位。其中有7位数据位和4位冗余位。
（2）确定冗余位的位置。
海明码对于冗余位的位置有特殊的规定。所有2的幂次位作为冗余位。
（3）将海明码进行分组，有四个冗余位则分为4组。 第一个冗余位对应第一个分组，依次类推。先将索引号变为二进制形式。如11为1011，10为1010。
第一分组：索引号的二进制码。从右往左数，第一位有1的则构成第一组。如第一组有索引号1、3、5、7、9、11。
第二分组：索引号的二进制码。从右往左数，第二位有1的则构成第二组。
第三分组、第四分组同理。
（4）填充数据位。 将传输数据信息的7位二进制码从左向右依次填入数据位中。
（5）填冲冗余位（奇偶校验位）
假如我们使用奇校验。
对于冗余位①：我们使用分组1。
对于冗余位②：我们使用分组2。
（6）最终海明码
补充：海明码如何纠错与改正错误信息？
➢海码通过检查每一小组的"奇校验"，来确定是否发生了错误。
➢第一组(1,3,5,7,9,11) : 1的个数为6位，不满足"奇校验"，因此，这一组中肯定有某个数据发生了错误，但不能确定具体位置。为了达到"奇校验"，我们补充并记录1个1来达到奇数个1。
➢第二组(2,3,6,7,10,11) : 1的个数为3位，满足"奇校验"，因此，可以断定这一组中没有任何一位数据发生改变。所以，只需要记录0。
➢第三组(4,5,6,7) : 1的个数为2位，不满足"奇校验"，因此，这一组中也有数据发生改变。所以，必须补1个1来达到奇数个1。
➢第四组(8,9,10,11) : 1的个数为3位，满足"奇校验"，只需要补0。
最后我们将记录的0/1数据从下往后上读写。即0101，也就是10进制数5。即5号位上数据发生了变化，只需要对5号位上的数据进行处理即可。
6. 知识点
熵的含义：信息量越大，熵越大。不确定性越强，熵越大。分散性越强，熵越大。熵是编码所需比特数的下限，即编码所需要最少的比特。
▲ 图像熵：
▲平均码长与编码效率：
▲平均码长R与图像熵H的关系：
■根据信息熵编码理论，可以证明在R>H条件下，总是可以设计出某种无失真编码方法。
■若编码结果使R远大于H ，表明这种编码效率很低 ，占用的比特数太多。
■若编码结果使R等于或接近于H ，这种状态的编码方法称为最佳编码 。
■若要求编码结果使R<H ，则必然丢失信息而引起图像失真 。这就是在允许失真条件下的一些失真编码方法。
7. 计算题
（1）Huffman哈夫曼编码
编码过程如下:
①将信源符号按概率由大到小顺序排列。
②把最末两个具有最小概率的元素的概率加起来。
③把该概率之和同其余概率由大到小排队，然后再把两个最小概率加起来，再重新排列。
④重复②，直到最后只剩下两个概率为止。上述工作完成之后，从最后两个概率开始逐步向前进行编码，左0右1赋值。
★题目：信源符号为aaaabbbcdddddee求Huffman编码，计算熵，平均码长和编码效率。
（2）费诺-香农编码
编码过程：
①将信源概率从大到小进行排序。
②将信源按概率划分为两组，使得分类开的信源具有最相近的概率。将划分后的组再进行前述规则的划分，直至划分完成。
③将划分的组以上0下1的原则进行编码。
★题目：一幅20x 20的图像共有5个灰度级: s1,s2,s3,s4和s5, 它们的概率依次为0.4, 0.175,0.15, 0.15和0.125。求费诺-香农编码，平均码长和图像熵。
（3）算术编码
★题目：假设对26个英文小写字母进行编码，前24 个字母的概率均为0.04，最后2个字母的概率均为0.02。对"good"进行算术编码。
（4）误差预测编码
★题目：设有一幅图像，f(i-1, j-1), f(i-1, j), f(i, j-1), f(i, j)的灰度值分别为.253, 252, 253, 255，选择下图第四种方法预测f(i, j)的灰度值，并计算预测误差。
第5章：图像分割
一、知识点
1. 为什么进行图像分割？
图像分割是图像识别和图像理解的前提步骤,图像分割质量的好坏直接影响后续图像处理的效果。
图像分割是指将一幅图像分解为若干互不交叠的、有意义的、具有相同性质的区域。分割出来的各区域对某种性质例如灰度，纹理而言具有相似性，区域内部是连通的且没有过多小孔。区域边界是明确的，相邻区域对分割所依据的性质有明显的差异。
2. 图像分割方法和种类。
非连续性分割 ：首先检测局部不连续性，然后将它们连接在一起形成边界，这些边界将图像分成不同的区域。
相似性分割 ：将具有同一灰度级或相同组织结构的像素聚集在一起，形成图像的不同区域。
（1）基于边缘分割
图像的边缘： 是图像的最基本特征，是图像局部特性不连续(或突变)的结果，是不同区域的分界处，因此它是图像分割所依赖的重要特征。
基于边缘的分割是通过搜索不同区域之间的边界，来完成图像的分割。
具体做法：首先利用合适的边缘检测算子提取出待分割场景不同区域的边界，然后对分割边界内的像素进行连通和标注，从而构成分割区域。
边缘检测 是边界分割方法的最基本的处理。
▲常见边缘：
▲边缘检测的方法很多，主要有以下几种:
➢空域微分算子 ，即传统的边缘检测方法，主要用于处理灰度图像。由于边缘是图像熵灰度变化最剧烈的地方，对应连续情形就是函数梯度较大的地方，所以可利用求导算子进行边缘检测。如Roberts算子、Prewitt算 子和Sobel算子等。
➢拟合曲面 。该方法利用当前像素邻域中的一 些像素值拟合一个曲面，然后求这个连续曲面在当前像素处的梯度。
➢小波多尺度边缘检测 。利用二进小波具有检测二元函数的局部突变能力进行图像的边缘检测。图像的边缘出现在图像局部灰度不连续处，对应于二进小波变换的模极大值点。
➢基于数学形态学的边缘检测 。基本方法有：①选取合适的结构元素对图像进行数学形态学腐蚀运算，再求原图像与腐蚀后的图像的差；②对图像进行膨胀运算，再求膨胀后的图像与原图像的差。
▲边缘检测微分算子
基本思想：采用小区域模板与图像做卷积运算求导数，然后选取合适的阈值提取边缘。
基于一阶导数 的边缘检测算子： Prewitt、Roberts和Sobel算子。
基于二阶导数 的边缘检测算子：Laplace算子。
其他 边缘检测算子：Kirsch和LOG算子、Canny边缘检测算子。
基于一阶导数和基于二阶导数的算子在前面的章节已经讲述，下面只讲述其他边缘检测算子。
➢Kirsch算子：
Kirsch算子实现相对麻烦一些。使用8个模板对图像上的每一个像素点进行卷积求导数，8个模板代表8个方向，分别对图像上的8个特定边缘方向做出最大响应，运算中取所有8个方向中的最大值作为图像的边缘输出。
➢LOG算子：
将Gaussian高斯滤波器和Laplace边缘检测结合在一起，形成LOG(Laplace of Gaussian)算法。即：先用高斯函数对图像进行平滑，然后再用拉普拉斯算子进行运算，形成Laplace-Gauss算法。
过程：图像先与高斯滤波器进行卷积，既平滑了图像又降低了噪声，孤立的噪声点和较小的结构组织将被滤除。在边缘检测时仅考虑那些具有局部梯度最大值的点为边缘点，用拉普拉斯算子将边缘点转换成零交叉点，通过零交叉点的检测来实现边缘检测。
与其他边缘检测算子一样，LOG算子也是先对边缘做出假设，然后在这个假设下寻找边缘像素。但LOG算子对边缘的假设条件最少，因此它的应用范围更广。
LOG算子检测结果连续，其他边缘检测算子检测得到的边缘是不连续的，不规则的，还需要连接这些边缘。
可以通过高斯函数标准偏差σ来调整LOG算子边缘检测结果。σ值越大，噪声滤波效果越好，但同时也丢失了重要的边缘信息，影响边缘检测的性能；值越小，越有可能平滑不完全而留有太多的噪声。因此，在不知道物体尺度和位置的情况下，很难准确确定滤波器的σ值。
一般来说，使用大值的滤波器产生鲁棒边缘，小值的滤波器产生精确定位的边缘，两者结合，能够检测出图像的最佳边缘。
➢Canny算子：
●步骤：
（1）高斯平滑：通过应用高斯滤波器，降低图像中的噪声。
（2）梯度计算： 使用Sobel算子等卷积操作，计算图像中每个像素点的梯度和方向。
（3）非极大值抑制：对梯度图进行扫描，保留梯度方向上的局部最大值，抑制非边缘像素。
（4）双阈值处理：使用双阈值检测确定真实和潜在的边缘。 设置两个阈值，minVal和maxVal。当灰度梯度高于maxVal时被认定为真正的边界，低于minVal时被抛弃。而处于两者之间的灰度梯度要看是否与被确定为边界的边界点相连，若相连则为边界。不相连则抛弃。
边缘提取
前述边缘检测方法实际上是求取图像中灰度的突变点。这样定义的边缘既失去了边缘的部分信息，又把噪声的影响包含在了边缘中。
事实上，边缘往往具有以下特征：灰度突变、是不同区域的边界、具有方向性。
根据边缘的特征，可以根据所关心区域的特征是否存在差异来判断是否存在边缘。如果特征没有差异，则认为是平滑区；如果特征有差异，则认为是边缘点。
▲边缘提取算法的具体实现步骤如下：
设置4个3×3模板，4个模板分别按0, 45°，90°，135°以(i,j)点为中心将3×3的区域分成两个部分，按照这4个模板分别对图像中的每一像素点进行卷积求和操作。
对图像中每个像素点求的4个结果取绝对值，将每个结果分别与一个阈值比较，如果其中任意一结果不小于阈值T，则该模板的中心点所对应的图像像素点的灰度值为1，否则为0。
优点： 该算法具有较好的抗噪能力，克服了传统的边界提取仅考虑灰度突变情况的局限。这是因为噪声是随机分布的，对于有噪声的图像，不论(i，j)是有效边界点还是处于平坦区域内部，沿边缘方向划分的两个区域的噪声分布和噪声强度在概率上相同。从4个模板的结构可以看出，噪声的影响基本上被相应抵消。
使用一阶导数检测边缘，若所求的一阶导数高于某一阈值，则可确定该点为边缘点，即可用下式生成二值图像。
边界跟踪
某些情况下仅获得边缘点是不够的，另外由于噪声、光照不均等因素影响，使得获取的边缘点可能不连续，必须通过边界跟踪将它们转换为有意义的边界信息。
图像的边界（轮廓）跟踪与边界提取技术不同。前者只对图像的外部边缘进行跟踪，后者是提取图像的外部边缘和图像的内部边缘。
边界跟踪实质上就是沿着图像的外部边缘"走"一圈。其目的主要是将目标与背景区分出来。
按边缘特点分，边界跟踪方法 ：极大跟踪法 、极小跟踪法、极大极小跟踪法与过零点跟踪法 。实际跟踪比较复杂，跟踪准则要随问题内容而定，准则不同，跟踪方法也就不同。
边界跟踪也称边缘点连接，是一种基于梯度的图像分割方法，从梯度图中的一个边界点出发，依次通过对前一个边界点的考察而逐步确定出下一个新的边界点，并将它们连接而逐步检测出边界的方法。
▲边缘检测和边界跟踪的区别：
边缘检测是先通过边缘检测算子计算梯度，然后用二值化方法提取边缘；边界跟踪是利用边界具有高梯度值的性质直接把边缘找出来。
▲具体边界跟踪过程大致可分以下三步：
(1) 确定边界跟踪的起始边界点。根据算法的不同，选择一个或多个边缘点作为搜索的起始边缘点。
(2) 选择一种合适的边界判别准则和搜索策略，根据已经发现的边界点确定下一个检测目标并对其进行检测。
(3) 确定搜索的终止条件(一般是将形成闭合边界作为终止条件)，在满足终止条件时结束搜寻。
常用的轮廓跟踪技术有两种：探测法和梯度图法。
（2）基于阈值分割--背景和物体分割
基于灰度阈值的分割方法是图像分割的经典方法，它通过设置阈值把像素点按灰度级分成若干类，从而实现图像分割。
把一幅灰度图像转换成二值图像是阈值分割的最简单形式。图像阈值处理具有直观、易于实现，以及阈值分割总能用封闭且连通的边界定义不交叠的区域等特点。
直方图阈值法： 是以一定的图像模型为依托。基于如下假设：目标或背景内部的相邻像素间的灰度值是相似的，但不同目标或背景上的像素灰度差异较大，反映在直方图上，就是不同目标或背景对应不同的峰。
分割时，选取的阈值应位于直方图上两个不同峰之间的谷上，以便将各个峰分开。最常用的图像模型是假设图像由具有单峰灰度分布的目标和背景组成。
➢阈值分割方法
▲单阈值分割方法---仅使用一个阈值分割的方法--全局阈值
处理方法 ：在图像的灰度取值范围内选择一灰度阈值，然后将图像中各个像素的灰度值与这个阈值相比较，像素灰度值大于阈值的为一类，像素灰度值小于阈值的为另一类，灰度值等于阈值的像素可以归入这两类之一。
仅取决于图像灰度值f(i,j)，仅与各个图像像素本身性质相关的阈值选取 ---全局阈值。在阈值化过程中只使用一个阈值。经典的阈值选取以灰度直方图为处理对象。
经阈值处理后的图像g(i,j)定义为：标记为1的像素对应于目标，标记为0的像素对应于背景，由此产生的图像为二值图像（只有两个灰度级的图像）。
●自动获取全局阈值方法：
①选取一个初始估计值T ((MAX+MIN)/2)。
②用T分割图像。生成两组像素集合G1和G2：G1由所有灰度值大于T的像素组成，而G2由所有灰度值小于或等于T的像素组成。
③对G1和G2中所有像素计算平均灰度值u1和u2。
④计算新的阈值：T= (u1 + u2) /2。
⑤重复步骤②到④，直到得到的连续两次T值之差小于一个事先给定的参数T0。
▲多阈值分割方法---使用多个阈值分割的方法---局部阈值
如果图像中有多个灰度值不同的区域，那么可以选择一系列的阈值以将每个像素分到合适的类别中去，这种用多个阈值分割的方法称为多阈值分割方法。
取决于图像像素本身性质 和该点邻域的局部区域特性相关 的阈值选取---局部阈值。局部阈值法将原始图像划分成较小的图像，并对每个子图像选取相应的阈值。
●阈值插值法--局部阈值
首先将图像分解成一系列的子图像。然后计算每个子图的分割阈值。最后对这些子图所得到的阈值进行插值，就可以得到对原图中每个像素进行分割所需要的合理阈值。 子图像相对原图较小，因此受背景空间变化带来的影响比较小，并且分割每个像素的阈值取决于像素在图像中的位置，这类阈值处理是自适应的。对应每个像素的阈值构成一个曲面，叫做阈值曲面。
▲动态阈值或者自适应阈值分割方法
除取决于图像像素本身性质和该点邻域的局部区域特性之外，还取决于空间位置坐标 ，即得到的阈值与坐标相关。
➢阈值选取方法
①极小值点阈值选取方法
②最优阈值选取方法
③迭代阈值选取方法
④最大类间方差阈值选取方法。
（3）基于熵区域分割
方法：
一维最大熵分割方法
二维最大熵分割方法
（4）基于区域的分割
基于区域分割法就是利用同一物体区域内像素灰度的相似性，将灰度相似的区域合并，把不相似的区域分开，最终形成不同的分割区域。
常用的区域分割方法：区域生长法 、区域分裂与合并法等。
▲区域生长法
概念 ：一种根据事先定义的准则将像素或者子区域聚合成更大区域的过程，它是区域分割最基本的方法。
与基于阈值分割方法的区别：考虑像素之间的连通性。
基本思想：以一组生长点或种子像素（单个像素或某个小区域）开始，搜索其邻域，把图像分割成特征相似的若干区域，比较相邻区域与生长点特征的相似性，若它们足够相似，则作为同一区域合并，形成新的生长点。以此方式将特征相似的区域不断合并、直到不能合并为止，最后形成特征不同的各区域。这种分割方式也称区域扩张法。
图（a）给出需要分割的图像，设已知两个种子像素，现在进行区域生长。
判断准则 ：如果所考虑的像素与种子像素灰度值差的绝对值小于某个门限T，则将该像素包括进种子像素所在的区域。
图（b）给出T=3时区域生长的结果，整幅图被较好的分成2个区域。
图（c）给出T=1时区域生长的结果，有些像素无法判定。
图（d）给出T=6时区域生长的结果，整幅图都被分成1个区域。
灰度相似性是构成与合并区域的基本准则，相邻性是指所取的邻域方式。根据所用的邻域方式和相似性准则的不同，产生各种不同的区域生长法。
将灰度相关的值作为区域生长准则，区域生长可分为单一型(像素与像素)、质心型(像素与区域)和混合型(区域与区域)三种。
●单一型区域生长法原理 （差值可以小于等于阈值）
以图像的某个像素为生长点，将特征相似的相邻像素合并为同一区域；被接收合并的像素点的灰度值取生长点的值，然后以合并的像素为生长点，重复以上的操作，最终形成具有相似特征的像素的最大连通集合。
简单生长法的相似性准则：
上式中，f(s,t)为生长点(s,t)的灰度值； f(m,n)为(s,t)的邻域点(m,n)的灰度值，T为相似阈值。
以像素灰度为特征进行简单区域生长的步骤：
对图像进行光栅扫描，找出尚没有归属的像素。当寻找不到这样的像素时结束操作。把这个像素灰度同其周围(4-邻域或8-邻域)不属于任何一个区域的像素进行比较，若灰度差值小于某一阈值，则将它们合并为同一个区域，并对合并的像素赋予标记。从新合并的像素开始，反复进行(2)的操作，直到区域不能再合并为止。返回①操作，寻找能作为新区域出发点的像素。
优缺点 ：方法简单，但如果区域之间的边缘灰度变化很平缓或边缘交于一点时，两个区域会合并起来。
解决方法：在步骤②中不是比较相邻像素灰度，而是比较已生长区域的像素灰度均值与该区域邻接的像素灰度值。
●质心型区域生长 （差值小于阈值）
比较单个像素的特征与其相邻区域（已存在区域的像素灰度平均值）的特征，若相似（差值小于阈值 ）则将像素归并到区域中。
●混合型区域生长
把图像分割成小区域，比较相邻小区域的相似性，如果相似则合并。
两种方法：
>不依赖于起始点的方法
(1)设灰度差的阈值为0，用简单区域生长法把具有相同灰度的像素合并到同一区域，得到图像的初始分割图像；
(2)从分割图像一个小区域开始，求出相邻区域间的灰度差，将差值最小的相邻区域合并；
(3)重复(2)的操作，把区域依次合并。
缺点： 这种方法若不在适当的阶段停止区域合并，整幅图像经区域生长的最终结果就会为一个区域。
▲区域分裂与合并
若图像中区域的某些特性差别较大，即不满足一致性标准时，则该区域应该分裂。单纯的区域分裂只能把图像分成许多满足一致性准则的区域，相邻且具有相似性的区域并没有合成一体。
区域生长过程 是从一组生长点开始，通过不断接纳新像素最后得到整个区域。
区域分裂与合并是将图像分割成一系列任意不相交的区域，然后将他们进行合并或分裂得到各个区域。这类方法中，最常用的方法是四叉树分解法。
下图中：R：表示整个图像区域，P：代表逻辑谓词。对R进行分割的一种方法是反复将分割得到的结果图像再次分为四个区域，直到对任何区域Ri，有P(Ri)=TRUE。
具体的分割过程：
从整幅图像开始，如果P(Ri)=FALSE，就将图像分割为4个区域；对分割后得到的区域，如果依然有P(Ri)=FALSE，就将这4个区域再次分别分割为4个区域，如此类推，直到Ri为单个像素。
如果仅使用分裂，最后得到的分割结果可能包含具有相同性质的相邻区域。为此，可在分裂的同时进行区域合并。
合并规则：只要P(RiURj)=TRUE，则可以将两个相邻的区域Ri和Rj进行合并。
分裂合并算法步骤：
对任何区域Ri，如果P(Ri)=FALSE，就将每个区域都分裂为4个相连的不重叠区域；对相邻的两个区域Ri和Rj，如果满足P(RiURj)=TRUE则进行合并。合并的两个区域可以大小不同，即不在同一层。当再也没有可以进行合并或分裂的区域，则分割操作停止。
（5）基于形态学分割---腐蚀、膨胀、开运算、闭运算
基本思想：是用具有一定形态的结构元素 去量度和提取 图像中的对应形状以达到对图像分析和识别的目的。
▲最基本的形态学运算：膨胀、腐蚀、开运算、闭运算。
膨胀： 先将结构元素进行对称，然后将结构元素对原图像取交集，只要有交集就膨胀原点。
腐蚀： 在原图像的闭合区域内，结构元素的原点可以到达的位置所构成的图像，即腐蚀后的图像。注意：结构元素不可以超出原图像闭合区域的范围！！
开运算 ：先腐蚀后膨胀。
闭运算：先膨胀后腐蚀。
▲基于分水岭的分割
分水岭的形成可以通过模拟浸入过程来说明。在每一个局部极小值表面，刺穿一个小孔，然后把整个模型慢慢浸入水中，随着浸入的加深，每一个局部极小值的影响域慢慢向外扩展在两个集水盆汇合处构筑大坝，即形成分水岭。
基于分水岭分割图像算法的任务就是提取出分水岭，以此作为分割图像不同区域的边界线。
常用的分水岭提取方法是L. Vincent提出的模拟浸没算法，其包括像素排序 和模拟浸水 两个过程。首先，按照像素灰度值递增顺序对图像中所有像素排序，以便直接访问同一灰度值的像素；然后，给每一个集水盆地分配不同的标记，从整个图像的最小像素值开始，依次浸没。
分水岭算法本质上是一种区域生长算法，所不同的是，它是从图像的局部极小值开始生长。
问题 ：由于噪声的影响，图像中存在着大量的伪极小值，这些伪极小值产生相应的伪集水盆地，最终导致严重的过分割问题。
解决方法 。①分割之前，先设定一些标记，每个标记对应图像中的一个物体，把这些标记强制性地作为梯度图像的极值，在此基础上再进行分水岭分割；②对梯度图像进行阈值处理，以消除灰度的微小变化产生的过度分割；③对分水岭分割后的图像进行区域合并、聚类等处理。
（6）基于聚类的分割
基于聚类分析的图像分割方法是图像领域中一类极其重要和应用相当广泛的算法，无论是灰度图像分割、彩色图像分割还是纹理图像或者其它类型的图像分割，都可运用聚类分析方法。
聚类(clustering)是一个将数据集划分为若干个类(cluster）的过程，它使性质相近的对象分在同一个类，性质差异较大的对象分在不同的类。
●C-均值聚类方法
也是众所周知的K均值聚类。
C-均值算法的聚类过程：
首先从n个对象中任意选择C个对象作为初始聚类中心，对于其它对象，则根据它们与这些聚类中心的距离，分别将它们划分到与其最近的（聚类中心所代表的）聚类中。然后计算每个新聚类的均值作为新的聚类中心。不断重复这一过程直到目标函数小于某个阈值或者聚类中心不再改变为止。
（7）彩色图像分割
灰度图像和彩色图像存在一个主要的区别，即对于每一个像素的描述，前者是在一维亮度空间上，而后者是在三维颜色空间上。
彩色图像分割有多种分类方法，大部分的灰度图像分割方法也可以扩展到彩色图像。许多彩色图像分割方法可以把灰度图像分割方法应用于不同的颜色空间，而且可以直接应用于每个颜色分量上。
彩色图像分割方法：直方图阈值法、特征空间聚类法、区域生长法、边缘检测法等等。
●彩色图像的分割可以采取两种方式：
一是将三维空间的彩色图像的三个分量进行适当的组合或变换，投影到一维或二维空间，然后进行分割；
二是在彩色空间中直接进行分割。需要选择一个合适的彩色空间，使用较多的彩色空间有RGB，HSI，YCbCr，CIE L * a* b*。
直方图阈值法
彩色图像有3个颜色分量，其直方图是一个3维数组，在这样的直方图中确定阈值是比较困难的。
如果阈值化操作只是在单个颜色分量上进行，由于忽略了3个颜色分量间的相关性，常常得不到满意的分割结果。
一种解决方法:将3维空间投影到一个维数较低的空间，在维数较低的空间选择阈值对图像进行分割。例如，把3维颜色空间投影到一维直线上。
彩色空间聚类法
采用聚类方法分割彩色图像时，把彩色图像中的每一个像素看成是一个待分类的对象，并看成是一个由若干个特征分量组成的向量，彩色聚类就是对这些向量进行聚类。
利用聚类方法对彩色图像进行分割具有直观、易于实现的特点，并且该方法能够同时利用3个分量的颜色信息，分割效果较好。
对彩色图像进行聚类分割，首先选择合适的色彩空间，常用的彩色空间有RGB，HSI，Lab空间等。
区域生长分割彩色图像
区域生长是将具有相似颜色的相邻像素集合起来构成区域的方法。
先在每个颜色区域找一个种子像素作为生长的起点，然后将种子像素周围邻域中与种子像素具有相同或相似颜色的像素合并到种子像素所在的区域中，直到再没有满足条件的像素可被包括进来为止。
●三种距离关系：
欧氏距离 ：两点之间最短距离。
D8距离（或棋盘距离） ：两点横纵坐标中差值最大的那条坐标线。
城区（街区）距离 ： D=|x1-x2|+|y1-y2|
