opencv 基础50-图像轮廓学习03-Hu矩函数介绍及示例-cv2.HuMoments()

什么是Hu 矩？

Hu 矩（Hu Moments）是由计算机视觉领域的科学家Ming-Kuei Hu于1962年提出的一种图像特征描述方法。这些矩是用于描述图像形状和几何特征的不变特征，具有平移、旋转和尺度不变性，适用于图像识别、匹配和形状分析等任务。

Ming-Kuei Hu在其论文中提出了七个用于形状描述的独特特征，称之为Hu矩。这些特征通过一系列组合和归一化操作，能够捕获图像的不同几何属性，如大小、形状、旋转等，同时保持了对这些变换的不变性。这使得Hu矩在图像处理领域中成为了一种重要的特征表示方法。

以下是七个Hu矩的表示：

1. 第一不变矩（Invariant Moment 1）：描述图像的大小。

2. 第二不变矩（Invariant Moment 2）：描述图像的形状，与图像的缩放无关。

3. 第三不变矩（Invariant Moment 3）：描述图像的形状，与图像的缩放无关。

4. 第四不变矩（Invariant Moment 4）：描述图像的形状和旋转，与图像的缩放无关。

5. 第五不变矩（Invariant Moment 5）：描述图像的形状和旋转，与图像的缩放无关。

6. 第六不变矩（Invariant Moment 6）：描述图像的形状，与图像的缩放和旋转无关。

7. 第七不变矩（Invariant Moment 7）：描述图像的形状，与图像的缩放和旋转无关。

Hu 矩 应用场景？

Hu 矩（Hu Moments）由于其对图像形状的不变性，适用于多种图像处理和模式识别应用场景。以下是一些常见的Hu矩应用场景：

1. 形状识别：Hu矩可以用于描述图像中的形状，从而实现形状识别。它们对图像的尺度、旋转和平移变换具有不变性，因此可以在不同的姿态和尺寸下进行形状匹配。

2. 模式识别：Hu矩可以用于模式识别任务，如字符识别、手写字体识别等。它们可以捕获图像的局部和全局特征，从而实现对不同模式的识别。

3. 目标检测：Hu矩可以用于图像中目标的检测和定位。通过比较目标和待检测区域的Hu矩特征，可以判断目标是否存在并确定其位置。

4. 图像匹配：Hu矩可以用于图像的匹配和对准。通过计算图像的Hu矩特征，可以找到相似的图像或对象。

5. 图像检索：在图像检索任务中，Hu矩可以用作图像的特征表示，从而实现对相似图像的检索。

6. 物体排序：Hu矩可以用于对物体进行排序，根据其形状特征的相似性进行排列。

7. 医学图像分析：在医学图像领域，Hu矩可以用于描述器官和病变的形状特征，实现图像分析和诊断。

8. 遥感图像分析：在遥感图像分析中，Hu矩可以用于分析地物的形状和分布，如土地利用分类等

Hu矩函数介绍

函数 cv2.HuMoments()的语法格式为：

hu = cv2.HuMoments( m )

式中返回值 hu，表示返回的 Hu 矩值；参数 m，是由函数 cv2.moments()计算得到矩特征值。

Hu 矩是归一化中心矩的线性组合，每一个矩都是通过归一化中心矩的组合运算得到的。

函数 cv2.moments()返回的归一化中心矩中包含：

• 二阶 Hu 矩：nu20, nu11, nu02
• 三阶 Hu 矩：nu30, nu21, nu12, nu03
  为了表述上的方便，将上述字母"nu"表示为字母"v"，则归一化中心矩为：
• 二阶 Hu 矩：v20, v11, v02
• 三阶 Hu 矩：v30, v21, v12, v03
  上述 7 个 Hu 矩的计算公式为：

代码示例：

本例对 Hu 矩中的第 0 个矩ℎ0 = 𝑣20 + 𝑣02的关系进行验证，即 Hu 矩中第 0 个矩对应的函数 cv2.moments()的返回值为：

ℎ0 = 𝑛𝑢20 + 𝑛𝑢02

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
gray = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
#获取图像的Hu矩
HuM1=cv2.HuMoments(cv2.moments(gray)).flatten()
print("cv2.moments(gray)=\n",cv2.moments(gray))
print("\nHuM1=\n",HuM1)
print("\ncv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=%f+%f=%f\n"
 %(cv2.moments(gray)['nu20'],cv2.moments(gray)['nu02'],
 cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))
print("HuM1[0]=",HuM1[0])
print("\nHu[0]-(nu02+nu20)=",
 HuM1[0]-(cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']))

运行结果：

cv2.moments(gray)=
 {'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}

HuM1=
 [ 1.21949664e-03  9.25267773e-07  4.05157060e-12  2.46555893e-11
  2.41189094e-22  2.27497012e-14 -5.05282814e-23]

cv2.moments(gray)['nu20']+cv2.moments(gray)['nu02']=0.001029+0.000190=0.001219

HuM1[0]= 0.0012194966431100965

Hu[0]-(nu02+nu20)= 0.0

程序运行结果显示"Hu[0]-(nu02+nu20)= 0.0"。从该结果可知，关系ℎ0 = 𝑛𝑛20 + 𝑛𝑢02成立。

示例2： 计算三幅不同图像的 Hu 矩，并进行比较。

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
HuM1=cv2.HuMoments(cv2.moments(gray1)).flatten()
#----------------计算图像 o2 的 Hu 矩-------------------
o2 = cv2.imread('cs3.bmp')
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
HuM2=cv2.HuMoments(cv2.moments(gray2)).flatten()
#----------------计算图像 o3 的 Hu 矩-------------------
o3 = cv2.imread('lena.bmp')
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)
HuM3=cv2.HuMoments(cv2.moments(gray3)).flatten()
#---------打印图像 o1、图像 o2、图像 o3 的特征值------------
print("o1.shape=",o1.shape)
print("o2.shape=",o2.shape)
print("o3.shape=",o3.shape)
print("cv2.moments(gray1)=\n",cv2.moments(gray1))
print("cv2.moments(gray2)=\n",cv2.moments(gray2))
print("cv2.moments(gray3)=\n",cv2.moments(gray3))
print("\nHuM1=\n",HuM1)
print("\nHuM2=\n",HuM2)
print("\nHuM3=\n",HuM3)
#---------计算图像 o1 与图像 o2、图像 o3 的 Hu 矩之差----------------
print("\nHuM1-HuM2=",HuM1-HuM2)
print("\nHuM1-HuM3=",HuM1-HuM3)
#---------显示图像----------------
cv2.imshow("original1",o1)
cv2.imshow("original2",o2)
cv2.imshow("original3",o3)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果：

显示各个图像的 shape 属性、moments 属性、HuMoments 属性，以及不同图像的 Hu 矩之差

o1.shape= (425, 514, 3)
o2.shape= (425, 514, 3)
o3.shape= (512, 512, 3)
cv2.moments(gray1)=
 {'m00': 2729265.0, 'm10': 823361085.0, 'm01': 353802555.0, 'm20': 256058984145.0, 'm11': 104985534390.0, 'm02': 47279854725.0, 'm30': 81917664997185.0, 'm21': 32126275537320.0, 'm12': 13822864338150.0, 'm03': 6484319942535.0, 'mu20': 7668492092.239544, 'mu11': -1749156290.6675763, 'mu02': 1415401136.0198045, 'mu30': 43285283824.24758, 'mu21': -12028503719.706358, 'mu12': 13036213891.873255, 'mu03': -11670178717.880629, 'nu20': 0.0010294815371794516, 'nu11': -0.0002348211467422498, 'nu02': 0.00019001510593064498, 'nu30': 3.517434386213551e-06, 'nu21': -9.77456282143905e-07, 'nu12': 1.0593444921255944e-06, 'nu03': -9.48338194620685e-07}
cv2.moments(gray2)=
 {'m00': 1755675.0, 'm10': 518360685.0, 'm01': 190849140.0, 'm20': 156229722135.0, 'm11': 55624504050.0, 'm02': 21328437150.0, 'm30': 47992502493915.0, 'm21': 16559578863270.0, 'm12': 6135747671370.0, 'm03': 2448843661890.0, 'mu20': 3184426306.5185323, 'mu11': -723448129.1111062, 'mu02': 582345624.666668, 'mu30': -14508249198.719406, 'mu21': 3955540976.461006, 'mu12': -4161129804.772763, 'mu03': 3747496072.0989423, 'nu20': 0.0010331014067430548, 'nu11': -0.00023470327398074627, 'nu02': 0.00018892636416872804, 'nu30': -3.552259578607564e-06, 'nu21': 9.684909688102524e-07, 'nu12': -1.018828185563436e-06, 'nu03': 9.175523962658914e-07}
cv2.moments(gray3)=
 {'m00': 32524520.0, 'm10': 8668693016.0, 'm01': 8048246168.0, 'm20': 3012074835288.0, 'm11': 2188197716912.0, 'm02': 2697437187672.0, 'm30': 1162360702630328.0, 'm21': 771188127583648.0, 'm12': 737629807045152.0, 'm03': 1024874860779368.0, 'mu20': 701626022956.6517, 'mu11': 43115319152.08315, 'mu02': 705885386731.4578, 'mu30': -14447234840441.977, 'mu21': 2862363425762.6274, 'mu12': -2650458863973.0146, 'mu03': 8044566997348.251, 'nu20': 0.0006632601374460898, 'nu11': 4.0757713612639876e-05, 'nu02': 0.0006672865932933315, 'nu30': -2.3947351703101653e-06, 'nu21': 4.7445773821681405e-07, 'nu12': -4.393330024129607e-07, 'nu03': 1.3334460006519109e-06}

HuM1=
 [ 1.21949664e-03  9.25267773e-07  4.05157060e-12  2.46555893e-11
  2.41189094e-22  2.27497012e-14 -5.05282814e-23]

HuM2=
 [ 1.22202777e-03  9.32974010e-07  4.19762083e-12  2.44520029e-11
  2.44855011e-22  2.27298009e-14 -3.76120600e-23]

HuM3=
 [ 1.33054673e-03  6.66097722e-09  1.16744767e-12  1.13004583e-11
 -2.02613532e-24 -8.54504575e-16  4.09952009e-23]

HuM1-HuM2= [-2.53112780e-06 -7.70623675e-09 -1.46050222e-13  2.03586345e-13
 -3.66591675e-24  1.99003443e-17 -1.29162214e-23]

HuM1-HuM3= [-1.11050088e-04  9.18606796e-07  2.88412294e-12  1.33551309e-11
  2.43215229e-22  2.36042058e-14 -9.15234823e-23]

从上述输出结果可以看到，由于 Hu 矩的值本身就非常小，因此在这里并没有发现两个对象的 Hu 矩差值的特殊意义。那怎么样才行让这三个图进行更明显的匹配呢？ opencv 提供了函数 cv2.matchShapes()允许我们提供两个对象，对二者的 Hu 矩进行比较。

形状匹配函数 cv2.matchShapes()

函数 cv2.matchShapes()的语法格式为：

retval = cv2.matchShapes( contour1, contour2, method, parameter )

式中 retval 是返回值。

该函数有如下 4 个参数：

• contour1：第 1 个轮廓或者灰度图像。
• contour2：第 2 个轮廓或者灰度图像。
• method：比较两个对象的 Hu 矩的方法，具体如表 12-1 所示

在表 12-1 中，A 表示对象 1，B 表示对象 2：

式中，ℎ𝑖𝐴和ℎ𝑖𝐵分别是对象 A 和对象 B 的 Hu 矩。

• parameter：应用于 method 的特定参数，该参数为扩展参数，目前（新版本）不支持该参数，因此将该值设置为 0。

示例：使用函数 cv2.matchShapes()计算三幅不同图像的匹配度。

代码如下：

import cv2
o1 = cv2.imread('cs1.bmp')
o2 = cv2.imread('cs2.bmp')
o3 = cv2.imread('cc.bmp')

gray1 = cv2.cvtColor(o1,cv2.COLOR_BGR2GRAY)
gray2 = cv2.cvtColor(o2,cv2.COLOR_BGR2GRAY)
gray3 = cv2.cvtColor(o3,cv2.COLOR_BGR2GRAY)

ret, binary1 = cv2.threshold(gray1,127,255,cv2.THRESH_BINARY)
ret, binary2 = cv2.threshold(gray2,127,255,cv2.THRESH_BINARY)
ret, binary3 = cv2.threshold(gray3,127,255,cv2.THRESH_BINARY)

contours1, hierarchy = cv2.findContours(binary1,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours2, hierarchy = cv2.findContours(binary2,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours3, hierarchy = cv2.findContours(binary3,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)

cnt1 = contours1[0]
cnt2 = contours2[0]
cnt3 = contours3[0]

ret0 = cv2.matchShapes(cnt1,cnt1,1,0.0)
ret1 = cv2.matchShapes(cnt1,cnt2,1,0.0)
ret2 = cv2.matchShapes(cnt1,cnt3,1,0.0)

print("相同图像的 matchShape=",ret0)
print("相似图像的 matchShape=",ret1)
print("不相似图像的 matchShape=",ret2)


cv2.imshow("o1",o1)
cv2.imshow("o2",o2)
cv2.imshow("o3",o3)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果:

相同图像的 matchShape= 0.0
相似图像的 matchShape= 0.10720296440067095
不相似图像的 matchShape= 0.5338506830800509

从以上结果可以看出：

• 同一幅图像的 Hu 矩是不变的，二者差值为 0。
• 相似的图像即使发生了平移、旋转和缩放后，函数 cv2.matchShapes()的返回值仍然比较
  接近。例如，图像 o1 和图像 o2，o2 是对 o1 经过缩放、旋转和平移后得到的，但是对
  二者应用 cv2.matchShapes()函数后，返回值的差较小。
• 不相似图像 cv2.matchShapes()函数返回值的差较大。例如，图像 o1 和图像 o3 的差别较大，因此对二者应用 cv2.matchShapes()函数后，返回值的差也较大

所以当两图片的Hu 矩 二者的差值为0或者接近0 ，说明两个图片的轮廓基本上是一致的。

---

实验原图：