opencv基础57-模板匹配cv2.matchTemplate()-＞(目标检测、图像识别、特征提取)

OpenCV 提供了模板匹配（Template Matching）的功能，它允许你在图像中寻找特定模板（小图像）在目标图像中的匹配位置。模板匹配在计算机视觉中用于目标检测、图像识别、特征提取等领域。

以下是 OpenCV 中使用模板匹配的基本步骤：

加载图像：首先，加载目标图像和要匹配的模板图像。
选择匹配方法：选择适当的匹配方法，例如 cv2.TM_CCOEFF、cv2.TM_CCOEFF_NORMED、cv2.TM_CCORR、cv2.TM_CCORR_NORMED、cv2.TM_SQDIFF 或 cv2.TM_SQDIFF_NORMED。每种方法对应不同的匹配计算方式。
应用模板匹配：使用 cv2.matchTemplate() 函数来进行模板匹配，该函数返回匹配结果的矩阵。
找到最佳匹配位置：在匹配结果矩阵中，通过分析像素值找到最佳匹配位置，即目标图像中的匹配位置。

模板匹配是指在当前图像 A 内寻找与图像 B 最相似的部分，一般将图像 A 称为输入图像，将图像 B 称为模板图像。模板匹配的操作方法是将模板图像 B 在图像 A 上滑动，遍历所有像素以完成匹配。

例如，在图 15-1 中，希望在图中的大图像"lena"内寻找左上角的"眼睛"图像。此时，大图像"lena"是输入图像，"眼睛"图像是模板图像。查找的方式是，将模板图像在输入图像内从左上角开始滑动，逐个像素遍历整幅输入图像，以查找与其最匹配的部分。

模板匹配函数说明

在 OpenCV 内，模板匹配是使用函数 cv2.matchTemplate()实现的。该函数的语法格式为：

result = cv2.matchTemplate(image, templ, method[, mask ] )

其中：

image 为原始图像，必须是 8 位或者 32 位的浮点型图像。
templ 为模板图像。它的尺寸必须小于或等于原始图像，并且与原始图像具有同样的类
型。
method 为匹配方法。该参数通过 TemplateMatchModes 实现，有 6 种可能的值，如表 15-1 所示。

mask 为模板图像掩模。它必须和模板图像 templ 具有相同的类型和大小。通常情况下该值使用默认值即可。当前，该参数仅支持 TM_SQDIFF 和 TM_CCORR_NORMED 两个值。

函数 cv2.matchTemplate()的返回值 result 是由每个位置的比较结果组合所构成的一个结果集，类型是单通道 32 位浮点型。如果输入图像（原始图像）尺寸是 WH，模板的尺寸是 w h，

则返回值的大小为(W-w+1)*(H-h+1)。

在进行模板匹配时，模板在原始图像内遍历。在水平方向上：

I 表示输入图像，T 表示模板，R 表示输出的结果图像，x 和 y 表示位置信息。

遍历的起始坐标是原始图像左数第 1 个像素值（序号从 1 开始）。
最后一次比较是当模板图像位于原始图像的最右侧时，此时其左上角像素点所在的位置是 W-w+1。
因此，返回值 result 在水平方向上的大小是 W-w+1（水平方向上的比较次数）。

在垂直方向上：

遍历的起始坐标从原始图像顶端的第 1 个像素开始。
最后一次比较是当模板图像位于原始图像的最下端时，此时其左上角像素点所在位置是H-h+1。

所以，返回值 result 在垂直方向上的大小是 H-h+1（垂直方向上的比较次数）。

如果原始图像尺寸是 WH，模板的尺寸是 w h，则返回值的大小为(W-w+1)(H-h+1)。也就是说，模板图像要在输入图像内比较(W-w+1)(H-h+1)次。

太抽象了再看看下面的说明看看能不能好理解一点

例如，在图 15-2 中，左上方的 2×2 小方块是模板图像，右下方的 10×10 图像是输入图像

（原始图像）。在进行模板匹配时：

首先将模板图像置于输入图像的左上角。
模板图像在向右移动时，最远只能位于输入图像的最右侧边界处，此时模板图像左上角的像素对应着输入图像的第 9 列（输入图像宽度-模板图像宽度+1 = 10-2+1 = 9）。
模板图像在向下移动时，最远只能位于输入图像最下端的边界处。此时模板图像左上角的像素对应着输入图像的第 9 行（输入图像高度-模板图像高度+1 = 10-2+1 = 9）。
根据上述分析可知，比较结果 result 的大小满足(W-w+1)*(H-h+1)，在上例中就是(10-2+1)×(10-2+1)，即 9×9。也就是说，模板图像要在输入图像内总计比较 9×9 = 81 次，这些比较结果将构成一个 9×9 大小的二维数组。

这样感觉有点懂了。

这里需要注意的是，函数 cv2.matchTemplate()通过参数 method 来决定使用不同的查找方法。对于不同的查找方法，返回值 result 具有不同的含义。

例如：

method 的值为 cv2.TM_SQDIFF 和 cv2.TM_SQDIFF_NORMED 时，result 值为 0 表示匹
配度最好，值越大，表示匹配度越差。
method 的值为 cv2.TM_CCORR、cv2.TM_CCORR_NORMED、cv2.TM_CCOEFF 和
cv2.TM_CCOEFF_NORMED 时，result 的值越小表示匹配度越差，值越大表示匹配度越好。

从上述分析可以看出，查找方法不同，结果的判定方式也不同。在查找最佳匹配时，首先要确定使用的是何种 method，然后再确定到底是查找最大值，还是查找最小值。

代码示例：使用函数 cv2.matchTemplate()进行模板匹配。

要求参数 method 的值设置为 cv2.TM_SQDIFF，显示函数的返回结果及匹配结果。

先到网上找个图，然后从图中再截取一部分另存为一个图。

代码如下：

cpp 复制代码

import cv2

from matplotlib import pyplot as plt

img1 = cv2.imread('toukui.png')
#将图片转换为灰度图
img = cv2.cvtColor(img1,cv2.COLOR_BGR2GRAY)

template1 = cv2.imread('toukui2.png')

template = cv2.cvtColor(template1,cv2.COLOR_BGR2GRAY)

th, tw = template.shape[::]
rv = cv2.matchTemplate(img,template,cv2.TM_SQDIFF)

minVal, maxVal, minLoc, maxLoc = cv2.minMaxLoc(rv)
topLeft = minLoc
bottomRight = (topLeft[0] + tw, topLeft[1] + th)
cv2.rectangle(img,topLeft, bottomRight, 255, 2)
plt.subplot(121),plt.imshow(rv,cmap = 'gray')
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])
plt.subplot(122),plt.imshow(img,cmap = 'gray')
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.show()

运行效果：

简单的目标检测效果就来了。

多模板匹配

也就是说目标检测时出现了多个目标，在前面的例子中，我们在输入图像中搜索其戴头盔，该子图在整个输入图像内仅出现了一次。但是，有些情况下，如果摄像头下面现在站了3个戴头盔的人，这时就需要找出多个匹配结果。而函数 cv2.minMaxLoc()仅仅能够找出最值，无法给出所有匹配区域的位置信息。所以，要想匹配多个结果，使用函数 cv2.minMaxLoc()是无法实现的，需要利用阈值进行处理。

下面分步骤介绍如何获取多模板匹配的结果。

1. 获取匹配位置的集合

函数 where()能够获取模板匹配位置的集合。对于不同的输入，其返回的值是不同的。

当输入（参数）是一维数组时，返回值是一维索引，只有一组索引数组。
当输入是二维数组时，返回的是匹配值的位置索引，因此会有两组索引数组表示返回值的位置。

以下代码查找在一维数组 a 中，数值大于 5 的元素的索引（即该元素所在的位置，数组的索引从 0 开始）：

cpp 复制代码

import numpy as np
a=np.array([3,6,8,1,2,88])
b=np.where(a>5)
print(b)

该段代码返回的结果为：

cpp 复制代码

(array([1, 2, 5], dtype=int64),)

说明索引值为 1、2、5 的数组元素，它们的值是大于 5 的。

上面介绍的是输入值为一维数组时的情况。

当输入值是二维数组时，函数 where()会返回满足条件的值在二维数组中的索引。

例如，以下代码查找在二维数组 am 中，值大于 5 的元素的索引：

cpp 复制代码

import numpy as np
am=np.array([[3,6,8,77,66],[1,2,88,3,98],[11,2,67,5,2]])
b=np.where(am>5)
print(b)

该段代码返回的结果为：

cpp 复制代码

(array([0, 0, 0, 0, 1, 1, 2, 2], dtype=int64),
array([1, 2, 3, 4, 2, 4, 0, 2], dtype=int64))

上述结果说明，存在二维数组 am，它的值为：

cpp 复制代码

[[ 3 6 8 77 66]
[ 1 2 88 3 98]
[11 2 67 5 2]]

其中，位置[0, 1]、[0, 2]、[0, 3]、[0, 4]、[1, 2]、[1, 4]、[2, 0]、[2, 2]上的元素值大于 5。

综上所述，函数 np.where()可以找出在函数 cv2.matchTemplate()的返回值中，哪些位置上的值是大于阈值 threshold 的。

在具体实现时，可以采用的语句为：

loc = np.where( res >= threshold)

式中：

res 是函数 cv2.matchTemplate()进行模板匹配后的返回值。
threshold 是预设的阈值
loc 是满足"res >= threshold"的像素点的索引集合。例如，在上面的二维数组 am 中，返回的大于 5 的元素索引集合为(array([0, 0, 0, 0, 1, 1, 2, 2], dtype=int64), array([1, 2, 3, 4,2, 4, 0, 2], dtype=int64))。返回值 loc 中的两个元素，分别表示匹配值的行索引和列索引。

2. 循环坐标值

这个没啥看头，知道什么叫循环就行

比如要处理多个值，通常需要用到循环。

例如，有一个列表，其中的值为 71、23、16，希望将这些值逐个输出，可以这样写代码：

cpp 复制代码

value = [71,23,16]
for i in value:
print('value 内的值:', i)

运行上述代码，得到的输出结果为：

cpp 复制代码

value 内的值: 71
value 内的值: 23
value 内的值: 16

因此，在获取匹配值的索引集合后，可以采用如下语句遍历所有匹配的位置，对这些位置做标记：

for i in 匹配位置集合:标记匹配位置。

3. 在循环中使用函数zip()

函数 zip()用可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。

例如，以下代码使用函数 zip()将 t 内对应的元素打包成一个个元组，并打印了由这些元组组成的列表：

cpp 复制代码

x = [1,2,3]
y = [4,5,6]
z = [7,8,9]
t = (x,y,z)
print(t)
for i in zip(*t):
 print(i)

上述代码中，语句 print(t)将 t 内的元素输出，结果为：

cpp 复制代码

([1, 2, 3], [4, 5, 6], [7, 8, 9])

循环语句 for i in zip(*t)将 t 内的元素打包成元组后输出，结果为：

cpp 复制代码

(1, 4, 7)
(2, 5, 8)
(3, 6, 9)

因此，如果希望循环遍历由 np.where()返回的模板匹配索引集合，可以采用的语句为：

for i in zip(*模板匹配索引集合):标记处理

例如，对于前面提到的数组 am，使用函数 zip()循环，就可以得到其中大于 5 的元素索引

的集合：

cpp 复制代码

import numpy as np
am=np.array([[3,6,8,77,66],[1,2,88,3,98],[11,2,67,5,2]])
print(am)
b=np.where(am>5)
for i in zip(*b):
 print(i)

上述代码的输出结果为：

cpp 复制代码

[[ 3 6 8 77 66]
[ 1 2 88 3 98]
[11 2 67 5 2]]
(0, 1)
(0, 2)
(0, 3)
(0, 4)
(1, 2)
(1, 4)
(2, 0)
(2, 2)

4. 调整坐标

函数 numpy.where()可以获取满足条件的模板匹配位置集合，然后可以使用函数cv2.rectangle()在上述匹配位置绘制矩形来标注匹配位置。

使用函数 numpy.where()在函数 cv2.matchTemplate()的输出值中查找指定值，得到的形式为"（行号，列号）"的位置索引。

但是，函数 cv2.rectangle()中用于指定顶点的参数所使用的是形

式为"（列号，行号）"的位置索引。所以，在使用函数 cv2.rectangle()绘制矩形前，要先将函数numpy.where()得到的位置索引做"行列互换"。可以使用如下语句实现 loc 内行列位置的互换：loc[::-1]

如下语句将 loc 内的两个元素交换位置：

cpp 复制代码

import numpy as np
loc = ([1,2,3,4],[11,12,13,14])
print(loc)
print(loc[::-1])

其中，语句 print(loc)所对应的输出为：

cpp 复制代码

([1, 2, 3, 4], [11, 12, 13, 14])

语句 print(loc[::-1])所对应的输出为：

cpp 复制代码

([11, 12, 13, 14], [1, 2, 3, 4])

5. 标记匹配图像的位置

最后一步就用函数 cv2.rectangle()可以标记匹配图像的具体位置，分别指定要标记的原始图像、对角顶点、颜色、矩形边线宽度即可。

关于矩形的对角顶点：

其中的一个对角顶点 A 可以通过 for 循环语句从确定的满足条件的"匹配位置集合"内获取。
另外一个对角顶点，可以通过顶点 A 的位置与模板的宽（w）和高（h）进行运算得到。

因此，标记各个匹配位置的语句为：

cpp 复制代码

for i in 匹配位置集合:
 cv2.rectangle(输入图像,i, (i[0] + w, i[1] + h), 255, 2)

代码示例：使用模板匹配方式，标记在输入图像内与模板图像匹配的多个子图像。

代码如下：

cpp 复制代码

import cv2
import numpy as np
img = cv2.imread('lena4.bmp',0)
template = cv2.imread('lena4Temp.bmp',0)
w, h = template.shape[::-1]
res = cv2.matchTemplate(img,template,cv2.TM_CCOEFF_NORMED)
threshold = 0.9
loc = np.where( res >= threshold)
for pt in zip(*loc[::-1]):
  cv2.rectangle(img, pt, (pt[0] + w, pt[1] + h), 255, 1)

cv2.imshow("template",template)
cv2.imshow("result1",img)
cv2.waitKey()
cv2.destroyAllWindows()

运行结果如下：

可以看到输入图像内多个与模板图像匹配的子图被标记出来