OpenCV如何模板匹配

返回:OpenCV系列文章目录(持续更新中......)

上一篇:OpenCV如何实现背投
下一篇 :OpenCV在图像中寻找轮廓

目标

在本教程中,您将学习如何:

  • 使用 OpenCV 函数 **matchTemplate()**搜索图像贴片和输入图像之间的匹配项
  • 使用 OpenCV 函数 **minMaxLoc()**查找给定数组中的最大值和最小值(以及它们的位置)。

matchTemplate() 和 minMaxLoc() 都是 OpenCV 库中常用的图像处理函数,通常用于模板匹配和特征检测等操作。

matchTemplate() 是一个常用的模板匹配函数,它可以在一个大图像上通过模板匹配方法定位和识别目标区域。该函数的基本思路是,在大图像中滑动一个与目标尺寸相同的小区域,然后利用图像相似度度量方法比较该区域与目标模板的相似度,最后得到相似度矩阵,并在其中选择最佳匹配位置。

minMaxLoc() 则是由 matchTemplate() 调用的一个配套函数,它用于找到匹配模板结果中最佳匹配位置。该函数的基本思想是,在相似度矩阵中找到最大值和最小值,然后根据所需的结果类型返回相应最大/最小值及其位置和相应的匹配模板。

因此,matchTemplate() 和 minMaxLoc() 通常会一起使用。matchTemplate() 函数可以计算出匹配模板的相似度矩阵,并返回最大/最小数值的位置或多个最大/最小值的位置;而 minMaxLoc() 函数则用于确定相似度矩阵中的最大/最小值及位置,以确定匹配区域。这两个函数的联合使用可以实现图像识别、目标跟踪等更加复杂的图像处理和分析操作。

理论

什么是模板匹配?

模板匹配是一种用于查找图像中与模板图像(补丁)匹配(相似)的区域的技术。

虽然补丁必须是一个矩形,但可能不是所有的矩形都是相关的。在这种情况下,可以使用掩码来隔离补丁中应该用于查找匹配项的部分。

它是如何工作的?

  • 我们需要两个主要组件:

    1. **源图像(I):**我们希望在其中找到与模板图像匹配的图像
    2. **模板图像(T):**将与源图像进行比较的修补图像

    我们的目标是检测匹配度最高的区域:

  • 要识别匹配区域,我们必须通过滑动模板图像将模板图像与源图像进行比较
  • 滑动是指一次移动一个像素(从左到右,从上到下)。在每个位置,都会计算一个指标,以表示该位置的匹配程度(或补丁与源图像的特定区域的相似程度)。
  • 对于 T 相对于 I 的每个位置,将指标存储结果矩阵 R 中。R 中的每个位置 (x,y)都包含匹配指标:

上图是用公制TM_CCORR_NORMED 滑动贴片的结果 R。最亮的位置表示匹配度最高。如您所见,红色圆圈标记的位置可能是值最高的位置,因此该位置(由该点形成的矩形作为角,宽度和高度等于补丁图像)被视为匹配。

  • 在实践中,我们使用函数 minMaxLoc()R 矩阵中找到最高值(或更低值,具体取决于匹配方法的类型)

模板匹配如何工作的?

  • 如果匹配需要遮罩,则需要三个组件:
    1. **源图像(I):**我们希望在其中找到与模板图像匹配的图像
    2. **模板图像(T):**将与源图像进行比较的修补图像
    3. **蒙版图像(M):**蒙版,用于遮罩模板的灰度图像
  • 目前只有两种匹配方法接受掩码:TM_SQDIFF 和 TM_CCORR_NORMED(有关 opencv 中可用的所有匹配方法的说明,请参见下文)。
  • 蒙版的尺寸必须与模板相同
  • 蒙版应具有CV_8U或CV_32F深度,以及与模板图像相同的通道数。CV_8U情况下,掩码值被视为二进制值,即零和非零。CV_32F情况下,这些值应落在 [0..1] 范围内,模板像素将乘以相应的蒙版像素值。由于示例中的输入图像具有CV_8UC3类型,因此掩码也被读取为彩色图像。

OpenCV 中可用的匹配方法有哪些?

问得好。OpenCV 在函数 **matchTemplate()**中实现模板匹配。可用的方法有 6 种:

1、方法=TM_SQDIFF

2、方法=TM_SQDIFF_NORMED

3、方法=TM_CCORR

4、方法=TM_CCORR_NORMED

′)2

5、方法=TM_CCOEFF

哪里

6、方法=TM_CCOEFF_NORMED

C++代码:

  • 这个程序是做什么的?
    • 加载输入图像、图像补丁(模板)和可选的蒙版
    • 通过将 OpenCV 函数 matchTemplate() 与前面描述的 6 种匹配方法中的任何一种结合使用来执行模板匹配过程。用户可以通过在跟踪栏中输入其选择来选择方法。如果提供了掩码,则该掩码将仅用于支持掩码的方法
    • 规范化匹配过程的输出
    • 以更高的匹配概率定位位置
    • 在与最高匹配项对应的区域周围绘制一个矩形
  • 可下载代码 : 点击这里
  • 代码一览:
cpp 复制代码
#include "opencv2/imgcodecs.hpp"
#include "opencv2/highgui.hpp"
#include "opencv2/imgproc.hpp"
#include <iostream>
 
using namespace std;
using namespace cv;
 
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
 
int match_method;
int max_Trackbar = 5;
 
void MatchingMethod( int, void* );
 
const char* keys =
"{ help h| | Print help message. }"
"{ @input1 | Template_Matching_Original_Image.jpg | image_name }"
"{ @input2 | Template_Matching_Template_Image.jpg | template_name }"
"{ @input3 | | mask_name }";
 
int main( int argc, char** argv )
{
 CommandLineParser parser( argc, argv, keys );
 samples::addSamplesDataSearchSubDirectory( "doc/tutorials/imgproc/histograms/template_matching/images" );
 
 img = imread( samples::findFile( parser.get<String>("@input1") ) );
 templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
 
 if(argc > 3) {
 use_mask = true;
 mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
 }
 
 if(img.empty() || templ.empty() || (use_mask && mask.empty()))
 {
 cout << "Can't read one of the images" << endl;
 return EXIT_FAILURE;
 }
 
 namedWindow( image_window, WINDOW_AUTOSIZE );
 namedWindow( result_window, WINDOW_AUTOSIZE );
 
 const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
 createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );
 
 MatchingMethod( 0, 0 );
 
 waitKey(0);
 return EXIT_SUCCESS;
}
 
void MatchingMethod( int, void* )
{
 Mat img_display;
 img.copyTo( img_display );
 
 int result_cols = img.cols - templ.cols + 1;
 int result_rows = img.rows - templ.rows + 1;
 
 result.create( result_rows, result_cols, CV_32FC1 );
 
 bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
 if (use_mask && method_accepts_mask)
 { matchTemplate( img, templ, result, match_method, mask); }
 else
 { matchTemplate( img, templ, result, match_method); }
 
 normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );
 
 double minVal; double maxVal; Point minLoc; Point maxLoc;
 Point matchLoc;
 
 minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );
 
 if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
 { matchLoc = minLoc; }
 else
 { matchLoc = maxLoc; }
 
 rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 
 imshow( image_window, img_display );
 imshow( result_window, result );
 
 return;
}

解释

声明一些全局变量,例如图像、模板和结果矩阵,以及匹配方法和窗口名称:

cpp 复制代码
bool use_mask;
Mat img; Mat templ; Mat mask; Mat result;
const char* image_window = "Source Image";
const char* result_window = "Result window";
 
int match_method;
int max_Trackbar = 5;

加载源图像、模板,以及可选的掩码(如果匹配方法支持):

cpp 复制代码
img = imread( samples::findFile( parser.get<String>("@input1") ) );
 templ = imread( samples::findFile( parser.get<String>("@input2") ), IMREAD_COLOR );
 
 if(argc > 3) {
 use_mask = true;
 mask = imread(samples::findFile( parser.get<String>("@input3") ), IMREAD_COLOR );
 }
 
 if(img.empty() || templ.empty() || (use_mask && mask.empty()))
 {
 cout << "Can't read one of the images" << endl;
 return EXIT_FAILURE;
 }

创建跟踪栏以输入要使用的匹配方法的种类。检测到更改时,将调用回调函数。

cpp 复制代码
const char* trackbar_label = "Method: \n 0: SQDIFF \n 1: SQDIFF NORMED \n 2: TM CCORR \n 3: TM CCORR NORMED \n 4: TM COEFF \n 5: TM COEFF NORMED";
 createTrackbar( trackbar_label, image_window, &match_method, max_Trackbar, MatchingMethod );

让我们来看看回调函数。首先,它复制源图像:

cpp 复制代码
 Mat img_display;
 img.copyTo( img_display );

执行模板匹配操作。参数自然是输入图像 I 、模板 T 、结果 R 和 match_method(由 Trackbar 给出),以及可选的蒙版图像 M

cpp 复制代码
 bool method_accepts_mask = (TM_SQDIFF == match_method || match_method == TM_CCORR_NORMED);
 if (use_mask && method_accepts_mask)
 { matchTemplate( img, templ, result, match_method, mask); }
 else
 { matchTemplate( img, templ, result, match_method); }

我们对结果进行归一化:

cpp 复制代码
 normalize( result, result, 0, 1, NORM_MINMAX, -1, Mat() );

我们使用 minMaxLoc() 对结果矩阵 R 中的最小值和最大值进行本地化。

cpp 复制代码
 double minVal; double maxVal; Point minLoc; Point maxLoc;
 Point matchLoc;
 
 minMaxLoc( result, &minVal, &maxVal, &minLoc, &maxLoc, Mat() );

对于前两种方法(TM_SQDIFF 和 MT_SQDIFF_NORMED),最佳匹配是最低值。对于所有其他值,较高的值表示更好的匹配。因此,我们将相应的值保存在 matchLoc 变量中:

cpp 复制代码
 if( match_method == TM_SQDIFF || match_method == TM_SQDIFF_NORMED )
 { matchLoc = minLoc; }
 else
 { matchLoc = maxLoc; }

显示源图像和结果矩阵。在尽可能高的匹配区域周围绘制一个矩形:

cpp 复制代码
 rectangle( img_display, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 rectangle( result, matchLoc, Point( matchLoc.x + templ.cols , matchLoc.y + templ.rows ), Scalar::all(0), 2, 8, 0 );
 
 imshow( image_window, img_display );
 imshow( result_window, result );

结果

  1. 使用输入图像测试我们的程序,例如:

和模板图像:

生成以下结果矩阵(第一行是标准方法 SQDIFF、CCORR 和 CCOEFF,第二行是其规范化版本中的相同方法)。在第一列中,最暗的匹配度越好,对于其他两列,位置越亮,匹配度越高。

  1. 右边的匹配项如下所示(右边那个人的脸周围的黑色矩形)。请注意,CCORR 和 CCDEFF 给出了错误的最佳匹配,但是它们的规范化版本是正确的,这可能是因为我们只考虑"最高匹配",而不是其他可能的高匹配。

参考文献:

1、《Template Matching》 -------Ana Huamán

相关推荐
小于小于大橙子3 小时前
视觉SLAM数学基础
人工智能·数码相机·自动化·自动驾驶·几何学
李元豪3 小时前
【智鹿空间】c++实现了一个简单的链表数据结构 MyList,其中包含基本的 Get 和 Modify 操作,
数据结构·c++·链表
UestcXiye4 小时前
《TCP/IP网络编程》学习笔记 | Chapter 9:套接字的多种可选项
c++·计算机网络·ip·tcp
埃菲尔铁塔_CV算法4 小时前
图像算法之 OCR 识别算法:原理与应用场景
图像处理·python·计算机视觉
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-3.4.2.Okex行情交易数据
人工智能·python·机器学习·数据挖掘
封步宇AIGC4 小时前
量化交易系统开发-实时行情自动化交易-2.技术栈
人工智能·python·机器学习·数据挖掘
一丝晨光4 小时前
编译器、IDE对C/C++新标准的支持
c语言·开发语言·c++·ide·msvc·visual studio·gcc
陌上阳光5 小时前
动手学深度学习68 Transformer
人工智能·深度学习·transformer
OpenI启智社区5 小时前
共筑开源技术新篇章 | 2024 CCF中国开源大会盛大开幕
人工智能·开源·ccf中国开源大会·大湾区
丶Darling.5 小时前
Day40 | 动态规划 :完全背包应用 组合总和IV(类比爬楼梯)
c++·算法·动态规划·记忆化搜索·回溯