图像特征总结-附带代码

不论是机器学习算法还是深度学习算法,对于图像而言,都是在寻找更好的从原始图像中提取具有较强表示能力的图像特征,对于机器学习算法,更多是需要人工设计特征,而对于深度学习算法,其优势在于能自动设计和目的相关的特征,但这并不是说明学习经典的图像特征表示就毫无意义了,就算是用深度学习算法,在学习相关了经典图像特征之后,对于其网络设计,其模块如何起到作用的,如何优化相关模块,也会起到相关的指导作用,其实很多深度学习文献的思路也是来源于机器学习中的相关图像特征提取或处理的思路。

本文从常用的几何特征,颜色特征和纹理特征 几个角度来描述图像特征,尤其在遥感领域,在做机器学习分类时这几种特征会经常用到。
对于几何特征:

在遥感分类领域,基于面向对象的分类方法中,会经常用几何特征参与分类,其效果较好,经常在图像分割的基础上上进行相关几何特征的计算,在几何特征中,最常用的是周长,方向,长宽比,偏心率等,在图像配准等方向,也会使用几何特征作为约束来寻找到最佳的配准点。

对于颜色特征:

在遥感领域对颜色特征使用多在图像检索分析,或是在构建新的某种地物的指数时经常用到

对于纹理特征:

对于纹理特征的使用在遥感分类,目标识别等领域基本上每次都会用到,其效果相比前两者而言较好,使用的频率较高,文章种介绍了使用最多的灰度共生纹理特征。

关于地形特征请参考: 遥感之地形特征

1 几何特征

图像的几何特征是指图像中物体的位置、方向、周长和面积等方面的特征。尽管几何特征比较直观和简单,但在图像分析中可以发挥重要的作用。提取图像几何特征之前一般要对图像进行分割和二值化处理。二值图像只有0和1两个灰度级,便于获取、分析和处理,虽然二值图像只能给出物体的轮廓信息,但在图像分析和计算机视觉中,二值图像及其几何特征十分重要,可用来完成分类、检验、定位、轨迹跟踪等任务。

1.1 位置

一般情况下,图像中的物体通常并不是一个点,因此,采用物体或区域面积的中心点作为物体的位置。如图所示,面积中心就是单位面积质量恒定的相同形状图形的质心O。由于二值图像质量分布是均匀的,故质心和形心重合。

若图像中的物体对应的像素位置坐标为(xi,yi),其中,i={0,1,...,N-1},j={0,1,...,M-1},质心位置坐标的计算公式如式所示。

1.2 方向

图像分析不仅需要知道一幅图像中物体的具体位置,而且还要知道物体在图像中的方向。如果物体是细长的,则可以将较长方向的轴定义为物体的方向,如图所示,该物体的方向则为x轴方向。

通常采用最小二阶矩轴来定义较长物体的方向。也就是说,要找出一条直线,使物体具有最小惯量,即:

式中,r是点(x,y)到直线(轴线)的垂直距离。通常情况下,确定一个物体的方向并不是一件容易的事情,需要进行一定的测量。

1.3 周长

图像内某一物体或区域的周长是指该物体或区域的边界长度。一个形状简单的物体用相对较短的周长来包围它所占有的像素,即周长是围绕所有这些像素的外边界的长度。通常,测量周长会包含物体内多个90°的转弯,这些拐弯一定程度上扩大了物体的周长。物体或区域的周长在区别某些简单或复杂形状的物体时具有重要价值。周长的表示方法不同,因而计算周长的方法也有所不同。

1.4 面积

面积是衡量物体所占范围的一种方便的客观度量。面积与其内部灰度级的变化无关,它完全由物体或区域的边界决定。同样面积条件下,一个形状简单的物体其周长相对较短。

1.5 矩形度

物体的矩形度是指物体的面积与其最小外接矩形的面积的比值,物体的最小外接矩形如图所示。矩形度体现一个物体对其外接矩形的充满程度,是反映物体与矩形相似程度的参数。

式中,A0为该物体面积,AMER为其最小外接矩形的面积。R的取值在0~1之间,当物体为矩形时,R取最大值1;当物体纤细或弯曲时,矩形度较小。

1.6 长宽比

长宽比是指物体的宽度除以高度所得的比值。,长宽比r为物体的最小外接矩形的宽W与长L的比值,如公式所示。长宽比可以用来区分纤细的物体与圆形、方形的物体。

1.7 圆形度

衡量目标物体圆形度的参数有很多,包括周长平方面积比、边界能量、圆形性、面积与平均距离平方的比值等。周长平方面积比可以用来衡量物体边界的复杂程度,其计算公式为

式中,A为面积,p为周长。当e为1时,图形即为圆形;当e越小,图形越不规律,与圆形的差距越大。例如:圆的圆形度为1,而正方形的圆形度为π/4约为0.79

1.8 偏心率

偏心率(Eccentricity)是用来描述圆锥曲线轨道形状的数学量,定义为曲线到定点(焦点)的距离与到定直线(准线)的距离之比,在一定程度上反映了一个区域的紧凑性,是区域形状的一种重要描述方法。对于椭圆,偏心率即为两焦点间的距离(焦距,2c)和长轴长度(2a)的比值,即

偏心率的另一种计算方法是计算惯性主轴比,它基于边界线上的点或整个区域来计算质量。特南鲍姆(Tenebaum)提出了计算任意区域的偏心度的近似公式,一般过程如下:
第一步,计算平均向量

第二步,计算j+k阶中心矩

第三步,计算方向角

第四步,计算偏心近似值

标题2 颜色特征

颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般的颜色特征是基于像素点的特征。由于颜色对图像或图像区域的方向、大小等变化不敏感,所以颜色特征不能很好地捕捉图像中对象的局部特征。颜色特征的优点是不受图像旋转和平移变化的影响,进一步借助归一化技术,还可不受图像尺度变化的影响;其缺点是没有表达出颜色空间分布的信息。

2.1 颜色模型

颜色模型指的是某个三维颜色空间中的一个可见光子集,它包含某个色彩域的所有色彩。一般而言,任何一个色彩域都只是可见光的子集,任何一个颜色模型都无法包含所有的可见光。在图像处理的过程中,为了能正确的使用颜色,提取相关颜色区域,

我们首先要了解几种颜色模型,如:RGB(红、绿、蓝)模型、CMY(青、品红、黄)模型、HSI(色调、饱和度、亮度)模型。

1.RGB模型

RGB模型是我们接触最多的一种颜色模型,同时也是一种原色叠加模型(光混合),常用于光照、视频和显示器。在RGB模型中,每种颜色可以通过红、绿、蓝分量叠加来表示。

RGB颜色模型是在几何形态上呈现立方体结构,与硬件实现关联紧密。RGB模型的彩色空间如图所示。

2.CMY模型

在CMY模型中,每种颜色可以通过青(Cyan)、品红(Magenta)、黄(Yellow)三种颜色颜料叠加得到,通常用于大多数在纸上沉积颜料的设备,如彩色打印机和复印机等。CMY模型是一种原色相减(颜料混合)模型。若所有RGB的颜色归一化到[0,1]区间,则有

CMY模型的彩色空间如图所示。相加混色RGB和相减混色CMY之间成对出现互补色

HSI模型

HSI颜色模型用H、S、I三个参数描述颜色特性。其中,H定义颜色的波长,称为色调;S表示颜色的深浅程度,称为饱和度;I表示灰度或亮度。

色调H(Hue):与光波的波长有关,表示人的感官对不同颜色的感受,如红色、绿色、蓝色等,它也可表示一定范围的颜色,如暖色、冷色等。

饱和度S(Saturation):表示颜色的纯度,纯光谱色是完全饱和的,加入白光会稀释饱和度。饱和度越大,颜色看起来就会越鲜艳,反之亦然。

亮度I(Intensity):表示颜色的明暗程度,对应成像亮度和图像灰度。

当人观察一个彩色物体时,用色调H、饱和度S、亮度I来描述物体的颜色。H和S分量与人感受颜色的方式紧密相关。I分量是一个主观的描述,与图像的彩色信息无关,实际上不可以测量,是描述彩色感觉的关键参数。

HSI颜色模型可用图所示的颜色模型来表示。亮度I是强度轴,模型中双圆锥的上顶点对应I=1,即白色;下顶点对应I=0,即黑色。色调H用角度表示,0°表示红色,互补色相差180°,纯绿色的角度为[插图],纯蓝色的角度为[插图]。饱和度S是颜色空间任意一点距I轴的距离,取值范围从0到1,0对应于垂直轴的中心线(也就是说这条线上没有色彩,只有灰度)。

与HSI模型类似的,还有HSV模型和HSL模型。HSV模型用色调(色相,Hue)、饱和度(Saturation)、亮度(Value)表示颜色。HSL色彩模式是工业界的一种颜色标准,是用色相(Hue)、饱和度(Saturation)、明度(Lightness)表示颜色。一般情况下,HSI和HSL使用相同的模型,没有区别,只是亮度这个词所用的术语不同。HSL和HSV的区别如图所示,在圆柱模型中,Value表示光的亮度,可以是任意颜色,而Lightness表示白色的亮度。

2.2 颜色直方图

颜色直方图能简单描述一幅图像中颜色的全局分布,即不同色彩在整幅图像中所占的比例,特别适用于描述那些难以自动分割的图像和不需要考虑物体空间位置的图像。颜色直方图需选择合理的颜色空间,最常用的颜色空间有RGB颜色空间和HSI颜色空间等。颜色直方图特征匹配方法有直方图相交法、距离法、中心距法、参考颜色表法和累加颜色直方图法。下面将对其中几种比较常见的直方图进行介绍。
1.一般特征直方图

一种特征直方图有两种定义方式,一种是利用各特征数量的占比来表示,另一种是用各个特征的数量统计值直接表示。

**定义1:**设p(xi)为图像P中某一特征值(xi)的像素个数,[插图]为P中的总像素数,对s(xi)做归一化处理,即

图像P的一般特征值直方图为

式中,n为图像特征的个数。

**定义2:**设p(xi)为图像P中某一特征值(xi)的像素个数,则图像P的一般特征值直方图为

式中,n为图像特征的个数。可见,直方图就是某一特征的概率分布。
对于灰度图像,其直方图就是灰度的概率分布。
对于彩色图像,可以分别计算某一颜色模型下不同分量的颜色直方图。



2.累加特征直方图

设图像P某一特征的一般特征直方图为H§=[h(x1),h(x2),...,h(xn)],令

那么,图像P的特征累加直方图为

3.二维直方图

令图像P={pmn}大小为M×N,图像P经3×3或5×5点阵平滑得到的图像设为Q={qmn},并且它的大小为M×N。由P和Q构成一个二元组,将二元组(P,Q)={(pmn,qmn)}M×N称为图像P的广义图像。那么,广义图像的直方图就是二维直方图。由于二维直方图中含有原图像颜色的空间分布信息,对于两幅颜色组成接近而空间分布不同的图像,其在二维直方图空间的距离相对传统直方图空间就会被拉大,因此能够更好地区别开来。

2.3 颜色矩

图像中任何的颜色分布均可以用它的矩来表示。由于颜色分布信息主要集中在低阶矩中,因此,仅采用颜色的一阶矩、二阶矩和三阶矩就足以表达图像的颜色分布。以计算HSI空间的H分量为例,如果记H(pi)为图像P的第i个像素的H值,那么其前三阶颜色矩(一阶矩M1、二阶矩M2和三阶矩M3)下式计算。

2.4 颜色聚合向量

图像的颜色聚合向量(Color Coherence Vector)是颜色直方图的一种演变,其核心思想是将属于颜色直方图每一个颜色区间(bin)的像素分成两个部分,如果该bin内的某些像素所占据的连续区域的面积大于给定的阈值,则令该区域内的像素为聚合像素,否则为非聚合像素。

假设αi与βi分别代表直方图的第i个bin中聚合像素和非聚合像素的数量,图像的颜色聚合向量可以表达为[(α1,β1),(α2,β2),...,(αn,βn)],那么[α1+β1,α2+β2,...,αn+βn]为该图像的颜色直方图。由于包含了颜色分布的空间信息,颜色聚合向量相比颜色直方图可以达到更好的检索效果。

颜色聚合向量算法可以通过以下几个步骤来完成对图像特征的提取。

  • 量化:聚合向量算法首先进行量化,将图像划分成n个颜色区间,即n个bin。
  • 划分连通区域:基于量化后的像素值矩阵,根据像素间的连通性将图像划分成若干个连通区域。对于某连通区域C,其内部任意两个的像素点之间都存在一条通路。
  • 判断聚合性:图像划分成多个连通区域后,统计每一个连通区域C中的像素,并设定阈值T判断区域中C的像素是聚合还是非聚合的,判断依据为:如果区域C中的像素值大于阈值T,则该区域聚合;如果区域C中的像素值小于阈值T,则该区域非聚合。

2.5 颜色相关图

在彩色图像中,颜色直方图是最常见的颜色表征方法。但是,从颜色直方图的定义可知,颜色直方图仅仅统计了不同颜色在图像中出现的次数,没有考虑颜色之间的空间分布关系。为了建立颜色空间的相关性,将具有一定关系的颜色分量建立起合理的表达关系,定义了颜色相关图,具体表达如下。

3 纹理特征

纹理是图像中一个重要但又非常难于描述的特征,至今没有公认的定义。有些图像会在局部区域内呈现不规则性,而在整体上又表现出某种规律性。通常我们将这种局部不规则而在宏观上有规律的特征称为纹理特征。

3.1 基于灰度共生矩阵的纹理特征构建

1.灰度共生矩阵的定义

灰度共生矩阵分析方法(GLCM)是建立在图像的二阶组合条件概率密度估计的基础上的。通过计算图像中某一距离和某一方向上的两点之间灰度的相关性,来反映图像在方向、间隔、变化快慢及幅度上的综合信息,从而准确描述纹理的不同特性。灰度共生矩阵是一个联合概率矩阵,它描述了图像中满足一定方向和一定距离的两点灰度出现的概率,具体定义为:灰度值分别为i和j的一对像素点,位置方向为θ,像素距离为d,二者同时出现时的概率记作p(i,j,d,θ)。通常,对θ=0°,45°,90°,135°,d=1的数字图像而言,其灰度共生矩阵计算公式为:

式中,i,j={0,1,...,L-1},(x,y)为灰度值为i的像素坐标,(x+Δx,y+Δy)为灰度值为j的像素坐标。L是灰度等级,取L=256。由于d和θ选取的不同,灰度共生矩阵中向量的意义和范围也不同,因此有必要对p(i,j,d,θ)进行归一化处理。

式中,Num为归一化常数,这里取相邻像素对的个数。
2.基于灰度共生矩阵的纹理特征
为了简便起见,后文中忽略了对d和θ的讨论,将归一化后的图像灰度共生矩阵简化为Pij。作为图像纹理分析的特征量,灰度共生矩阵不能直接用于图像特征的分析,而是需要在灰度共生矩阵的基础上,计算图像的二阶统计特征参数。Haralick提出了多种基于灰度共生矩阵的统计参数,本节主要介绍的统计参数有以下7种。

3.2 基于灰度-梯度共生矩阵的纹理特征构建

灰度-梯度共生矩阵是将灰度级直方图和边缘梯度直方图结合起来,它考虑的是像素级灰度和边缘梯度大小的联合统计分布。灰度直方图是一幅图像的灰度值在图像中分布的最基本统计信息,而图像的梯度信息加进灰度信息矩阵里,则使得共生矩阵更能包含图像的基本排列信息,相对于传统的一维灰度共生矩阵纹理分析有着明显的优势。灰度-梯度共生矩阵模型集中反映了图像中两种最基本的要素,即像点的灰度和梯度(或边缘)的相互关系。设原灰度图像为f(m,n),分辨率为Nx×Ny,对灰度图像进行归一化处理,灰度归一化变化的规划灰度F(m,n)为:

式中,INT[·]表示取整数,fmax为原图像的最高灰度,Ng为规一化后的最高灰度级,文中取Ng=16。采用3×3窗口的Sobel算子,对原图像各像素进行梯度计算,获得梯度矩阵g(m,n),其大小为Nx×Ny。并对其进行归一化处理,规划梯度G(m,n)为:

式中,gmax和Ns分别为梯度矩阵和归一化后矩阵的最大值。这里取Ns=16。于是,梯度-灰度共生矩阵定义为

其中,Hij定义为集合{(m,n)|F(m,n)=i,G(m,n)=j}中的元素的数目。对Hij进行归一化处理,得

则有

灰度-梯度空间很清晰的描绘了图像内各个像点灰度与梯度的分布规律,同时也给出了各像素点与其邻域像素点的空间关系,能很好地描绘图像的纹理,对于具有方向性的纹理可从梯度方向上反映出来。Haralick等人由灰度-梯度共生矩阵构建了多种纹理特征,常用的统计量(纹理特征)的计算公式有:

4 总结

文章在书籍<智能图像处理与分析识别 >基础上进行二次整理总结,提取其中在遥感领域常用的部分并进行扩展,使其在深度学习盛行的时代,能够在传统图像特征的基础上可以寻找灵感和突破,文章中介绍的部分已经整理了代码和相关补充材料,除此之外,还整理有更加详细的计算遥感图像的纹理特征的说明文档以及遥感相关的电子书,如图像融合,水质反演,信息提取等,有需要的可以关注知乎知乎后台咨询获取,资料整理不易。

欢迎点赞,收藏,关注,支持小生,打造一个好的遥感领域知识分享专栏。
同时欢迎私信咨询讨论学习,咨询讨论的方向不限于:地物分类/语义分割(如水体,云,建筑物,耕地,冬小麦等各种地物类型的提取),变化检测,夜光遥感数据处理,目标检测,图像处理(几何矫正,辐射矫正(大气校正),图像去噪等),遥感时空融合,定量遥感(土壤盐渍化/水质参数反演/气溶胶反演/森林参数(生物量,植被覆盖度,植被生产力等)/地表温度/地表反射率等反演)以及高光谱数据处理等领域以及深度学习,机器学习等技术算法讨论,以及相关实验指导/论文指导,考研复习等多方面。

相关推荐
普密斯科技4 分钟前
手机外观边框缺陷视觉检测智慧方案
人工智能·计算机视觉·智能手机·自动化·视觉检测·集成测试
四口鲸鱼爱吃盐17 分钟前
Pytorch | 利用AI-FGTM针对CIFAR10上的ResNet分类器进行对抗攻击
人工智能·pytorch·python
lishanlu13618 分钟前
Pytorch分布式训练
人工智能·ddp·pytorch并行训练
我感觉。21 分钟前
【图像处理lec8】彩色图像处理
图像处理·彩色图像处理
Schwertlilien27 分钟前
图像处理-Ch5-图像复原与重建
c语言·开发语言·机器学习
日出等日落31 分钟前
从零开始使用MaxKB打造本地大语言模型智能问答系统与远程交互
人工智能·语言模型·自然语言处理
三木吧41 分钟前
开发微信小程序的过程与心得
人工智能·微信小程序·小程序
whaosoft-1431 小时前
w~视觉~3D~合集5
人工智能
猫头虎1 小时前
新纪天工 开物焕彩:重大科技成就发布会参会感
人工智能·开源·aigc·开放原子·开源软件·gpu算力·agi
正在走向自律2 小时前
京东物流营销 Agent:智能驱动,物流新篇(13/30)
人工智能·ai agent·ai智能体·京东物流agent