c/c++的opencv的轮廓匹配初识

OpenCV 轮廓匹配：形状识别与比较 📐✨

轮廓匹配 是计算机视觉中一个重要的技术，它允许我们比较两个形状的相似度。OpenCV 提供了强大的函数来实现这一功能，核心是 cv::matchShapes()。本文将引导你了解轮廓匹配的基本原理、OpenCV 中的实现方法，并提供一个 C++ 示例。

---

1. 什么是轮廓？

在图像处理中，轮廓可以简单理解为连接具有相同颜色或灰度强度值的连续点的曲线。轮廓对于形状分析、对象检测和识别非常有用。在进行轮廓匹配之前，通常需要以下步骤：

1. 图像加载：读取源图像和模板图像。
2. 预处理 ：
   • 灰度转换：将彩色图像转换为灰度图像。
   • 二值化 ：将灰度图像转换为二值图像（黑白）。这通常通过阈值化实现，例如使用 cv::threshold()。
   • （可选）形态学操作：如腐蚀、膨胀，用于去除噪声或连接断裂的轮廓。
3. 轮廓查找 ：使用 cv::findContours() 在二值图像中提取轮廓。

---

2. 轮廓匹配原理：Hu矩

OpenCV 中的 cv::matchShapes() 函数使用 Hu矩 (Hu Moments) 来计算两个轮廓（或形状）之间的相似度。Hu矩是一组由中心矩计算得出的七个矩不变量。这些不变量具有平移、旋转和缩放不变性，这意味着即使形状的位置、朝向或大小发生变化，Hu矩的值也基本保持不变。这使得它们非常适合进行形状匹配。

cv::matchShapes() 函数返回一个浮点数，表示两个轮廓之间的"距离"或"不相似度"。返回值越小，表示两个轮廓越相似。

---

3. OpenCV 实现：cv::matchShapes()

函数原型 (C++):

double cv::matchShapes(InputArray contour1, InputArray contour2, int method, double parameter);

参数说明:

• contour1: 第一个轮廓或灰度图像。
• contour2: 第二个轮廓或灰度图像。
• method: 比较方法。OpenCV 提供了三种方法：
  • cv::CONTOURS_MATCH_I1
  • cv::CONTOURS_MATCH_I2
  • cv::CONTOURS_MATCH_I3 (常用且推荐)
• parameter: 特定比较方法的参数，通常设置为 0。

---

4. C++ 示例代码

下面的示例代码演示了如何加载两张图像，分别提取它们的轮廓，然后比较这些轮廓的相似度。

#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>

// 辅助函数：预处理图像并提取最大轮廓
cv::Mat preprocessAndGetMainContour(const cv::Mat& image, std::vector<cv::Point>& mainContour) {
    if (image.empty()) {
        std::cerr << "错误: 图像为空!" << std::endl;
        mainContour.clear();
        return cv::Mat();
    }

    cv::Mat gray, binary;

    // 1. 转换为灰度图
    cv::cvtColor(image, gray, cv::COLOR_BGR2GRAY);

    // 2. 二值化
    // 使用OTSU方法自动确定阈值，对于黑白分明的物体效果较好
    // 如果背景复杂，可能需要手动调整阈值或使用自适应阈值
    cv::threshold(gray, binary, 0, 255, cv::THRESH_BINARY_INV | cv::THRESH_OTSU);
    // THRESH_BINARY_INV 假设物体是亮的，背景是暗的，如果相反则用THRESH_BINARY

    // (可选) 显示二值化图像，方便调试
    // cv::imshow("Binary " + std::to_string(rand()), binary);


    // 3. 查找轮廓
    std::vector<std::vector<cv::Point>> contours;
    std::vector<cv::Vec4i> hierarchy;
    cv::findContours(binary, contours, hierarchy, cv::RETR_EXTERNAL, cv::CHAIN_APPROX_SIMPLE);

    if (contours.empty()) {
        std::cerr << "未找到轮廓!" << std::endl;
        mainContour.clear();
        return binary; // 返回二值图供参考
    }

    // 4. 假设最大的轮廓是我们要匹配的目标轮廓
    double maxArea = 0;
    int maxAreaIdx = -1;
    for (size_t i = 0; i < contours.size(); i++) {
        double area = cv::contourArea(contours[i]);
        if (area > maxArea) {
            maxArea = area;
            maxAreaIdx = i;
        }
    }

    if (maxAreaIdx != -1) {
        mainContour = contours[maxAreaIdx];
    } else {
        mainContour.clear();
    }
    return binary; // 返回二值图供参考
}


int main() {
    // 加载模板图像和待匹配图像
    // 请替换为你自己的图像路径
    cv::Mat templateImage = cv::imread("template_shape.png");
    cv::Mat targetImage = cv::imread("target_shape_to_match.png");

    if (templateImage.empty() || targetImage.empty()) {
        std::cout << "无法加载模板或目标图像!" << std::endl;
        return -1;
    }

    std::vector<cv::Point> templateContour;
    std::vector<cv::Point> targetContour;

    // 预处理并获取模板轮廓
    cv::Mat templateBinary = preprocessAndGetMainContour(templateImage, templateContour);
    if (templateContour.empty()) {
        std::cout << "模板图像中未找到有效轮廓。" << std::endl;
        return -1;
    }

    // 预处理并获取目标轮廓
    cv::Mat targetBinary = preprocessAndGetMainContour(targetImage, targetContour);
     if (targetContour.empty()) {
        std::cout << "目标图像中未找到有效轮廓。" << std::endl;
        return -1;
    }

    // 显示包含轮廓的图像 (可选)
    cv::Mat templateContourDrawing = templateImage.clone();
    cv::Mat targetContourDrawing = targetImage.clone();
    if (!templateContour.empty())
        cv::drawContours(templateContourDrawing, std::vector<std::vector<cv::Point>>{templateContour}, -1, cv::Scalar(0, 255, 0), 2);
    if (!targetContour.empty())
        cv::drawContours(targetContourDrawing, std::vector<std::vector<cv::Point>>{targetContour}, -1, cv::Scalar(0, 0, 255), 2);

    cv::imshow("模板轮廓", templateContourDrawing);
    cv::imshow("目标轮廓", targetContourDrawing);
    if(!templateBinary.empty()) cv::imshow("模板二值图", templateBinary);
    if(!targetBinary.empty()) cv::imshow("目标二值图", targetBinary);


    // 进行轮廓匹配
    // 使用 cv::CONTOURS_MATCH_I3 方法
    double similarity = cv::matchShapes(templateContour, targetContour, cv::CONTOURS_MATCH_I3, 0.0);

    std::cout << "轮廓相似度 (越小越相似): " << similarity << std::endl;

    // 根据相似度值设定一个阈值来判断是否匹配
    if (similarity < 0.5) { // 0.5 是一个经验阈值，需要根据实际情况调整
        std::cout << "结论: 轮廓匹配!" << std::endl;
    } else {
        std::cout << "结论: 轮廓不匹配。" << std::endl;
    }

    cv::waitKey(0);
    return 0;
}

编译和运行说明:

1. 保存代码 : 将代码保存为 .cpp 文件，例如 contour_matching.cpp。

2. 准备图像 : 创建两张图像：template_shape.png (包含你想要匹配的形状) 和 target_shape_to_match.png (包含待测试的形状)。确保这些图像中的目标物体与背景有较好的对比度，以便于二值化。

3. 编译 :

   g++ contour_matching.cpp -o contour_matcher $(pkg-config --cflags --libs opencv4)

   (如果你的 OpenCV 版本是 3.x，使用 opencv 而不是 opencv4)

4. 运行 :

   ./contour_matcher

---

5. 注意事项与局限性

• 预处理非常关键 ：cv::findContours() 的输入通常是二值图像。合适的灰度化、阈值化方法对提取准确的轮廓至关重要。
• Hu矩的局限性：虽然Hu矩具有平移、旋转和缩放不变性，但它们对噪声、遮挡和非刚性形变比较敏感。如果形状有轻微的非刚性变化（如手写数字），匹配效果可能会下降。
• 选择合适的轮廓 ：如果图像中包含多个物体，cv::findContours() 会返回所有物体的轮廓。你需要有策略地选择你感兴趣的轮廓进行比较（例如，基于轮廓的面积、周长或其他属性）。示例代码中选择了面积最大的轮廓。
• 相似度阈值 ：cv::matchShapes() 返回的值没有固定的"匹配"或"不匹配"界限。你需要根据你的应用场景和测试数据，通过实验来确定一个合适的阈值。
• 比较方法的选择 ：cv::CONTOURS_MATCH_I1, cv::CONTOURS_MATCH_I2, cv::CONTOURS_MATCH_I3 是基于不同的Hu矩组合计算的。CONTOURS_MATCH_I3 通常被认为是比较鲁棒的一个。

---

轮廓匹配是一个强大的工具，尤其适用于识别具有固定或相似形状的物体。通过结合良好的预处理技术和对匹配结果的合理评估，你可以在多种计算机视觉应用中有效地利用它。祝你编码愉快！🚀