返回:OpenCV系列文章目录(持续更新中......)
上一篇:OpenCV如何实现背投
下一篇 :OpenCV在图像中寻找轮廓
目标
在本教程中,您将学习如何:
- 使用 OpenCV 函数 **matchTemplate()**搜索图像贴片和输入图像之间的匹配项
- 使用 OpenCV 函数 **minMaxLoc()**查找给定数组中的最大值和最小值(以及它们的位置)。
matchTemplate() 和 minMaxLoc() 都是 OpenCV 库中常用的图像处理函数,通常用于模板匹配和特征检测等操作。
matchTemplate() 是一个常用的模板匹配函数,它可以在一个大图像上通过模板匹配方法定位和识别目标区域。该函数的基本思路是,在大图像中滑动一个与目标尺寸相同的小区域,然后利用图像相似度度量方法比较该区域与目标模板的相似度,最后得到相似度矩阵,并在其中选择最佳匹配位置。
minMaxLoc() 则是由 matchTemplate() 调用的一个配套函数,它用于找到匹配模板结果中最佳匹配位置。该函数的基本思想是,在相似度矩阵中找到最大值和最小值,然后根据所需的结果类型返回相应最大/最小值及其位置和相应的匹配模板。
因此,matchTemplate() 和 minMaxLoc() 通常会一起使用。matchTemplate() 函数可以计算出匹配模板的相似度矩阵,并返回最大/最小数值的位置或多个最大/最小值的位置;而 minMaxLoc() 函数则用于确定相似度矩阵中的最大/最小值及位置,以确定匹配区域。这两个函数的联合使用可以实现图像识别、目标跟踪等更加复杂的图像处理和分析操作。
理论
什么是模板匹配?
模板匹配是一种用于查找图像中与模板图像(补丁)匹配(相似)的区域的技术。
虽然补丁必须是一个矩形,但可能不是所有的矩形都是相关的。在这种情况下,可以使用掩码来隔离补丁中应该用于查找匹配项的部分。
它是如何工作的?
-
我们需要两个主要组件:
- **源图像(I):**我们希望在其中找到与模板图像匹配的图像
- **模板图像(T):**将与源图像进行比较的修补图像
我们的目标是检测匹配度最高的区域:
- 要识别匹配区域,我们必须通过滑动模板图像将模板图像与源图像进行比较:
- 滑动是指一次移动一个像素(从左到右,从上到下)。在每个位置,都会计算一个指标,以表示该位置的匹配程度(或补丁与源图像的特定区域的相似程度)。
- 对于 T 相对于 I 的每个位置,将指标存储 在结果矩阵 R 中。R 中的每个位置 (x,y)都包含匹配指标:
上图是用公制TM_CCORR_NORMED 滑动贴片的结果 R。最亮的位置表示匹配度最高。如您所见,红色圆圈标记的位置可能是值最高的位置,因此该位置(由该点形成的矩形作为角,宽度和高度等于补丁图像)被视为匹配。
- 在实践中,我们使用函数 minMaxLoc() 在 R 矩阵中找到最高值(或更低值,具体取决于匹配方法的类型)
模板匹配如何工作的?
- 如果匹配需要遮罩,则需要三个组件:
- **源图像(I):**我们希望在其中找到与模板图像匹配的图像
- **模板图像(T):**将与源图像进行比较的修补图像
- **蒙版图像(M):**蒙版,用于遮罩模板的灰度图像
- 目前只有两种匹配方法接受掩码:TM_SQDIFF 和 TM_CCORR_NORMED(有关 opencv 中可用的所有匹配方法的说明,请参见下文)。
- 蒙版的尺寸必须与模板相同
- 蒙版应具有CV_8U或CV_32F深度,以及与模板图像相同的通道数。CV_8U情况下,掩码值被视为二进制值,即零和非零。CV_32F情况下,这些值应落在 [0..1] 范围内,模板像素将乘以相应的蒙版像素值。由于示例中的输入图像具有CV_8UC3类型,因此掩码也被读取为彩色图像。
OpenCV 中可用的匹配方法有哪些?
问得好。OpenCV 在函数 **matchTemplate()**中实现模板匹配。可用的方法有 6 种:
1、方法=TM_SQDIFF
2、方法=TM_SQDIFF_NORMED
3、方法=TM_CCORR
4、方法=TM_CCORR_NORMED
′)2
5、方法=TM_CCOEFF
哪里
6、方法=TM_CCOEFF_NORMED
C++代码:
- 这个程序是做什么的?
- 加载输入图像、图像补丁(模板)和可选的蒙版
- 通过将 OpenCV 函数 matchTemplate() 与前面描述的 6 种匹配方法中的任何一种结合使用来执行模板匹配过程。用户可以通过在跟踪栏中输入其选择来选择方法。如果提供了掩码,则该掩码将仅用于支持掩码的方法
- 规范化匹配过程的输出
- 以更高的匹配概率定位位置
- 在与最高匹配项对应的区域周围绘制一个矩形
- 可下载代码 : 点击这里
- 代码一览:
cpp
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>
using namespace std;
using namespace cv;
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
void MatchingMethod( int, void* );
const char* keys =
"{ help h| | Print help message. }"
"{ @input1 | Template_Matching_Original_Image.jpg | image_name }"
"{ @input2 | Template_Matching_Template_Image.jpg | template_name }"
"{ @input3 | | mask_name }";
int main( int argc, char** argv )
{
CommandLineParser parser( argc, argv, keys );
samples::addSamplesDataSearchSubDirectory( "doc/tutorials/imgproc/histograms/template_matching/images" );
img = imread( samples::findFile( parser.get<String>("@input1") ) );
templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
if(argc > 3) {
use_mask = true;
mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
}
if(img.empty() || templ.empty() || (use_mask && mask.empty()))
{
cout << "Can't read one of the images" << endl;
return EXIT_FAILURE;
}
namedWindow( image_window, WINDOW_AUTOSIZE );
namedWindow( result_window, WINDOW_AUTOSIZE );
const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
MatchingMethod( 0, 0 );
waitKey(0);
return EXIT_SUCCESS;
}
void MatchingMethod( int, void* )
{
Mat img_display;
img.copyTo( img_display );
int result_cols = img.cols - templ.cols + 1;
int result_rows = img.rows - templ.rows + 1;
result.create( result_rows, result_cols, CV_32FC1 );
bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
if (use_mask && method_accepts_mask)
{ matchTemplate( img, templ, result, match_method, mask); }
else
{ matchTemplate( img, templ, result, match_method); }
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
return;
}
解释
声明一些全局变量,例如图像、模板和结果矩阵,以及匹配方法和窗口名称:
cpp
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
int match_method;
int max_Trackbar = 5;
加载源图像、模板,以及可选的掩码(如果匹配方法支持):
cpp
img = imread( samples::findFile( parser.get<String>("@input1") ) );
templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
if(argc > 3) {
use_mask = true;
mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
}
if(img.empty() || templ.empty() || (use_mask && mask.empty()))
{
cout << "Can't read one of the images" << endl;
return EXIT_FAILURE;
}
创建跟踪栏以输入要使用的匹配方法的种类。检测到更改时,将调用回调函数。
cpp
const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
让我们来看看回调函数。首先,它复制源图像:
cpp
Mat img_display;
img.copyTo( img_display );
执行模板匹配操作。参数自然是输入图像 I 、模板 T 、结果 R 和 match_method(由 Trackbar 给出),以及可选的蒙版图像 M。
cpp
bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
if (use_mask && method_accepts_mask)
{ matchTemplate( img, templ, result, match_method, mask); }
else
{ matchTemplate( img, templ, result, match_method); }
我们对结果进行归一化:
cpp
normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
我们使用 minMaxLoc() 对结果矩阵 R 中的最小值和最大值进行本地化。
cpp
double minVal; double maxVal; Point minLoc; Point maxLoc;
Point matchLoc;
minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
对于前两种方法(TM_SQDIFF 和 MT_SQDIFF_NORMED),最佳匹配是最低值。对于所有其他值,较高的值表示更好的匹配。因此,我们将相应的值保存在 matchLoc 变量中:
cpp
if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
{ matchLoc = minLoc; }
else
{ matchLoc = maxLoc; }
显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形:
cpp
rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
imshow( image_window, img_display );
imshow( result_window, result );
结果
- 使用输入图像测试我们的程序,例如:
和模板图像:
生成以下结果矩阵(第一行是标准方法 SQDIFF、CCORR 和 CCOEFF,第二行是其规范化版本中的相同方法)。在第一列中,最暗的匹配度越好,对于其他两列,位置越亮,匹配度越高。
- 右边的匹配项如下所示(右边那个人的脸周围的黑色矩形)。请注意,CCORR 和 CCDEFF 给出了错误的最佳匹配,但是它们的规范化版本是正确的,这可能是因为我们只考虑"最高匹配",而不是其他可能的高匹配。
参考文献:
1、《Template Matching》 -------Ana Huamán