opencv 基础50-图像轮廓学习03-Hu矩函数介绍及示例-cv2.HuMoments()

什么是Hu 矩？

Hu 矩（Hu Moments）是由计算机视觉领域的科学家Ming-Kuei Hu于1962年提出的一种图像特征描述方法。这些矩是用于描述图像形状和几何特征的不变特征，具有平移、旋转和尺度不变性，适用于图像识别、匹配和形状分析等任务。

Ming-Kuei Hu在其论文中提出了七个用于形状描述的独特特征，称之为Hu矩。这些特征通过一系列组合和归一化操作，能够捕获图像的不同几何属性，如大小、形状、旋转等，同时保持了对这些变换的不变性。这使得Hu矩在图像处理领域中成为了一种重要的特征表示方法。

以下是七个Hu矩的表示：

第一不变矩（Invariant Moment 1）：描述图像的大小。
第二不变矩（Invariant Moment 2）：描述图像的形状，与图像的缩放无关。
第三不变矩（Invariant Moment 3）：描述图像的形状，与图像的缩放无关。
第四不变矩（Invariant Moment 4）：描述图像的形状和旋转，与图像的缩放无关。
第五不变矩（Invariant Moment 5）：描述图像的形状和旋转，与图像的缩放无关。
第六不变矩（Invariant Moment 6）：描述图像的形状，与图像的缩放和旋转无关。
第七不变矩（Invariant Moment 7）：描述图像的形状，与图像的缩放和旋转无关。

Hu 矩应用场景？

Hu 矩（Hu Moments）由于其对图像形状的不变性，适用于多种图像处理和模式识别应用场景。以下是一些常见的Hu矩应用场景：

形状识别：Hu矩可以用于描述图像中的形状，从而实现形状识别。它们对图像的尺度、旋转和平移变换具有不变性，因此可以在不同的姿态和尺寸下进行形状匹配。
模式识别：Hu矩可以用于模式识别任务，如字符识别、手写字体识别等。它们可以捕获图像的局部和全局特征，从而实现对不同模式的识别。
目标检测：Hu矩可以用于图像中目标的检测和定位。通过比较目标和待检测区域的Hu矩特征，可以判断目标是否存在并确定其位置。
图像匹配：Hu矩可以用于图像的匹配和对准。通过计算图像的Hu矩特征，可以找到相似的图像或对象。
图像检索：在图像检索任务中，Hu矩可以用作图像的特征表示，从而实现对相似图像的检索。
物体排序：Hu矩可以用于对物体进行排序，根据其形状特征的相似性进行排列。
医学图像分析：在医学图像领域，Hu矩可以用于描述器官和病变的形状特征，实现图像分析和诊断。
遥感图像分析：在遥感图像分析中，Hu矩可以用于分析地物的形状和分布，如土地利用分类等

Hu矩函数介绍

函数 cv2.HuMoments()的语法格式为：

hu = cv2.HuMoments( m )

式中返回值 hu，表示返回的 Hu 矩值；参数 m，是由函数 cv2.moments()计算得到矩特征值。

Hu 矩是归一化中心矩的线性组合，每一个矩都是通过归一化中心矩的组合运算得到的。

函数 cv2.moments()返回的归一化中心矩中包含：

二阶 Hu 矩：nu20, nu11, nu02
三阶 Hu 矩：nu30, nu21, nu12, nu03
为了表述上的方便，将上述字母"nu"表示为字母"v"，则归一化中心矩为：
二阶 Hu 矩：v20, v11, v02
三阶 Hu 矩：v30, v21, v12, v03
上述 7 个 Hu 矩的计算公式为：

代码示例：

本例对 Hu 矩中的第 0 个矩ℎ0 = 𝑣20 + 𝑣02的关系进行验证，即 Hu 矩中第 0 个矩对应的函数 cv2.moments()的返回值为：

ℎ0 = 𝑛𝑢20 + 𝑛𝑢02

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
gray = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
#获取图像的Hu矩
HuM1=cv2.HuMoments(cv2.moments(gray)).flatten()
print("cv2.moments(gray)=\n",cv2.moments(gray))
print("\nHuM1=\n",HuM1)
print("\ncv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=%f+%f=%f\n"
 %(cv2.moments(gray)['nu20'],cv2.moments(gray)['nu02'],
 cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))
print("HuM1[0]=",HuM1[0])
print("\nHu[0]-(nu02+nu20)=",
 HuM1[0]-(cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))

运行结果：

cv2.moments(gray)=
 {'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}

HuM1=
 [ 1.21949664e-03  9.25267773e-07  4.05157060e-12  2.46555893e-11
  2.41189094e-22  2.27497012e-14 -5.05282814e-23]

cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=0.001029+0.000190=0.001219

HuM1[0]= 0.0012194966431100965

Hu[0]-(nu02+nu20)= 0.0

程序运行结果显示"Hu[0]-(nu02+nu20)= 0.0"。从该结果可知，关系ℎ0 = 𝑛𝑛20 + 𝑛𝑢02成立。

示例2：计算三幅不同图像的 Hu 矩，并进行比较。

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
HuM1=cv2.HuMoments(cv2.moments(gray1)).flatten()
#----------------计算图像 o2 的 Hu 矩-------------------
o2 = cv2.imread('cs3.bmp')
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
HuM2=cv2.HuMoments(cv2.moments(gray2)).flatten()
#----------------计算图像 o3 的 Hu 矩-------------------
o3 = cv2.imread('lena.bmp')
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)
HuM3=cv2.HuMoments(cv2.moments(gray3)).flatten()
#---------打印图像 o1、图像 o2、图像 o3 的特征值------------
print("o1.shape=",o1.shape)
print("o2.shape=",o2.shape)
print("o3.shape=",o3.shape)
print("cv2.moments(gray1)=\n",cv2.moments(gray1))
print("cv2.moments(gray2)=\n",cv2.moments(gray2))
print("cv2.moments(gray3)=\n",cv2.moments(gray3))
print("\nHuM1=\n",HuM1)
print("\nHuM2=\n",HuM2)
print("\nHuM3=\n",HuM3)
#---------计算图像 o1 与图像 o2、图像 o3 的 Hu 矩之差----------------
print("\nHuM1-HuM2=",HuM1-HuM2)
print("\nHuM1-HuM3=",HuM1-HuM3)
#---------显示图像----------------
cv2.imshow("original1",o1)
cv2.imshow("original2",o2)
cv2.imshow("original3",o3)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果：

显示各个图像的 shape 属性、moments 属性、HuMoments 属性，以及不同图像的 Hu 矩之差

o1.shape= (425, 514, 3)
o2.shape= (425, 514, 3)
o3.shape= (512, 512, 3)
cv2.moments(gray1)=
 {'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}
cv2.moments(gray2)=
 {'m00': 1755675.0, 'm10': 518360685.0, 'm01': 190849140.0, 'm20': 156229722135.0, 'm11': 55624504050.0, 'm02': 21328437150.0, 'm30': 47992502493915.0, 'm21': 16559578863270.0, 'm12': 6135747671370.0, 'm03': 2448843661890.0, 'mu20': 3184426306.5185323, 'mu11': -723448129.1111062, 'mu02': 582345624.666668, 'mu30': -14508249198.719406, 'mu21': 3955540976.461006, 'mu12': -4161129804.772763, 'mu03': 3747496072.0989423, 'nu20': 0.0010331014067430548, 'nu11': -0.00023470327398074627, 'nu02': 0.00018892636416872804, 'nu30': -3.552259578607564e-06, 'nu21': 9.684909688102524e-07, 'nu12': -1.018828185563436e-06, 'nu03': 9.175523962658914e-07}
cv2.moments(gray3)=
 {'m00': 32524520.0, 'm10': 8668693016.0, 'm01': 8048246168.0, 'm20': 3012074835288.0, 'm11': 2188197716912.0, 'm02': 2697437187672.0, 'm30': 1162360702630328.0, 'm21': 771188127583648.0, 'm12': 737629807045152.0, 'm03': 1024874860779368.0, 'mu20': 701626022956.6517, 'mu11': 43115319152.08315, 'mu02': 705885386731.4578, 'mu30': -14447234840441.977, 'mu21': 2862363425762.6274, 'mu12': -2650458863973.0146, 'mu03': 8044566997348.251, 'nu20': 0.0006632601374460898, 'nu11': 4.0757713612639876e-05, 'nu02': 0.0006672865932933315, 'nu30': -2.3947351703101653e-06, 'nu21': 4.7445773821681405e-07, 'nu12': -4.393330024129607e-07, 'nu03': 1.3334460006519109e-06}

HuM1=
 [ 1.21949664e-03  9.25267773e-07  4.05157060e-12  2.46555893e-11
  2.41189094e-22  2.27497012e-14 -5.05282814e-23]

HuM2=
 [ 1.22202777e-03  9.32974010e-07  4.19762083e-12  2.44520029e-11
  2.44855011e-22  2.27298009e-14 -3.76120600e-23]

HuM3=
 [ 1.33054673e-03  6.66097722e-09  1.16744767e-12  1.13004583e-11
 -2.02613532e-24 -8.54504575e-16  4.09952009e-23]

HuM1-HuM2= [-2.53112780e-06 -7.70623675e-09 -1.46050222e-13  2.03586345e-13
 -3.66591675e-24  1.99003443e-17 -1.29162214e-23]

HuM1-HuM3= [-1.11050088e-04  9.18606796e-07  2.88412294e-12  1.33551309e-11
  2.43215229e-22  2.36042058e-14 -9.15234823e-23]

从上述输出结果可以看到，由于 Hu 矩的值本身就非常小，因此在这里并没有发现两个对象的 Hu 矩差值的特殊意义。那怎么样才行让这三个图进行更明显的匹配呢？ opencv 提供了函数 cv2.matchShapes()允许我们提供两个对象，对二者的 Hu 矩进行比较。

形状匹配函数 cv2.matchShapes()

函数 cv2.matchShapes()的语法格式为：

retval = cv2.matchShapes( contour1, contour2, method, parameter )

式中 retval 是返回值。

该函数有如下 4 个参数：

contour1：第 1 个轮廓或者灰度图像。
contour2：第 2 个轮廓或者灰度图像。
method：比较两个对象的 Hu 矩的方法，具体如表 12-1 所示

在表 12-1 中，A 表示对象 1，B 表示对象 2：

式中，ℎ𝑖𝐴和ℎ𝑖𝐵分别是对象 A 和对象 B 的 Hu 矩。

parameter：应用于 method 的特定参数，该参数为扩展参数，目前（新版本）不支持该参数，因此将该值设置为 0。

示例：使用函数 cv2.matchShapes()计算三幅不同图像的匹配度。

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
o2 = cv2.imread('cs2.bmp')
o3 = cv2.imread('cc.bmp')

gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)

ret, binary1 = cv2.threshold(gray1,127,255,cv2.THRESH_BINARY)
ret, binary2 = cv2.threshold(gray2,127,255,cv2.THRESH_BINARY)
ret, binary3 = cv2.threshold(gray3,127,255,cv2.THRESH_BINARY)

contours1, hierarchy = cv2.findContours(binary1,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours2, hierarchy = cv2.findContours(binary2,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours3, hierarchy = cv2.findContours(binary3,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)

cnt1 = contours1[0]
cnt2 = contours2[0]
cnt3 = contours3[0]

ret0 = cv2.matchShapes(cnt1,cnt1,1,0.0)
ret1 = cv2.matchShapes(cnt1,cnt2,1,0.0)
ret2 = cv2.matchShapes(cnt1,cnt3,1,0.0)

print("相同图像的 matchShape=",ret0)
print("相似图像的 matchShape=",ret1)
print("不相似图像的 matchShape=",ret2)


cv2.imshow("o1",o1)
cv2.imshow("o2",o2)
cv2.imshow("o3",o3)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果:

相同图像的 matchShape= 0.0
相似图像的 matchShape= 0.10720296440067095
不相似图像的 matchShape= 0.5338506830800509

从以上结果可以看出：

同一幅图像的 Hu 矩是不变的，二者差值为 0。
相似的图像即使发生了平移、旋转和缩放后，函数 cv2.matchShapes()的返回值仍然比较
接近。例如，图像 o1 和图像 o2，o2 是对 o1 经过缩放、旋转和平移后得到的，但是对
二者应用 cv2.matchShapes()函数后，返回值的差较小。
不相似图像 cv2.matchShapes()函数返回值的差较大。例如，图像 o1 和图像 o3 的差别较大，因此对二者应用 cv2.matchShapes()函数后，返回值的差也较大

所以当两图片的Hu 矩二者的差值为0或者接近0 ，说明两个图片的轮廓基本上是一致的。

实验原图：

opencv 基础50-图像轮廓学习03-Hu矩函数介绍及示例-cv2.HuMoments()

什么是Hu 矩？

Hu 矩 应用场景？

Hu矩函数介绍

代码示例：

示例2： 计算三幅不同图像的 Hu 矩，并进行比较。

形状匹配函数 cv2.matchShapes()

示例：使用函数 cv2.matchShapes()计算三幅不同图像的匹配度。

Hu 矩应用场景？

示例2：计算三幅不同图像的 Hu 矩，并进行比较。