OpenCV之图像匹配与定位

利用图像特征的keypoints和descriptor来实现图像的匹配与定位。图像匹配算法主要有暴力匹配和FLANN匹配,而图像定位是通过图像匹配结果来反向查询它们在目标图片中的具体坐标位置。

以QQ登录界面为例,将整个QQ登录界面保存为QQ.png文件,QQ登录界面是在计算机的1920×1080分辨率下截图保存的;再把计算机的分辨率改为1280×1024,将QQ登录界面的用户头像保存并对图像进行旋转处理,最后保存为portrait.png文件

两张图片文件的像素分辨率和图像位置都发生了变化,如果要通过portrait.png去匹配定位它在QQ.png所在的坐标位置,自动化工具PyAutoGUI肯定是无法实现的。若想解决这种复杂的图像识别问题,只能使用计算机视觉技术。在OpenCV里面,QQ.png称为目标图像,portrait.png称为训练图像

实现过程:

(1)分别对两张图片的图像进行特征检测,图像特征检测算法有SURF、SIFT和ORB,两张图片必须使用同一种特征检测算法。

(2)根据两张图片的特征描述符(即变量descriptor)进行匹配,匹配算法有暴力匹配和FLANN匹配,不同的匹配算法所产生的匹配结果存在一定的差异。

(3)对两张图片的匹配结果进行数据清洗,去除一些错误匹配。错误匹配是由于在图片不同区域内出现多处相似的特征而导致的。

(4)在匹配结果里抽取中位数,利用中位数来反向查询它在目标图片所对应像素点的坐标位置,这个坐标位置也是自动化开发中使用的图片定位坐标。

线面是让chatgpt把上面图片里的代码修改为了c++。没仔细看是否正确。

cpp 复制代码
#include <opencv2/opencv.hpp>
#include <vector>

int main() {
    // Load images
    cv::Mat img1 = cv::imread("QQ.png");
    cv::Mat img2 = cv::imread("portrait.png");

    // Use SIFT algorithm to get keypoints and descriptors
    cv::Ptr<cv::SIFT> sift = cv::SIFT::create();
    std::vector<cv::KeyPoint> kp1, kp2;
    cv::Mat des1, des2;
    sift->detectAndCompute(img1, cv::noArray(), kp1, des1);
    sift->detectAndCompute(img2, cv::noArray(), kp2, des2);

    // Define FLANN matcher
    cv::Ptr<cv::FlannBasedMatcher> flann = cv::FlannBasedMatcher::create();
    std::vector<std::vector<cv::DMatch>> matches;
    flann->knnMatch(des1, des2, matches, 2);

    // Filter good matches
    std::vector<cv::DMatch> goodMatches;
    for (size_t i = 0; i < matches.size(); ++i) {
        if (matches[i][0].distance < 0.5 * matches[i][1].distance) {
            goodMatches.push_back(matches[i][0]);
        }
    }

    // Get coordinates of a point
    size_t index = goodMatches.size() / 2;
    float x = kp1[goodMatches[index].queryIdx].pt.x;
    float y = kp1[goodMatches[index].queryIdx].pt.y;

    // Draw rectangle on img1 at (x, y) and display image
    cv::rectangle(img1, cv::Point2f(x, y), cv::Point2f(x + 5, y + 5), cv::Scalar(0, 255, 0), 2);
    cv::imshow("QQ", img1);
    cv::waitKey(0);
    cv::destroyAllWindows();

    return 0;
}
相关推荐
cnbestec39 分钟前
协作机器人UR7e与UR12e:轻量化设计与高负载能力助力“小而美”智造升级
人工智能·机器人·协作机器人·ur协作机器人·ur7e·ur12e
zskj_zhyl42 分钟前
毫米波雷达守护银发安全:七彩喜跌倒检测仪重构居家养老防线
人工智能·安全·重构
gaosushexiangji2 小时前
利用sCMOS科学相机测量激光散射强度
大数据·人工智能·数码相机·计算机视觉
ai小鬼头3 小时前
AIStarter新版重磅来袭!永久订阅限时福利抢先看
人工智能·开源·github
说私域3 小时前
从品牌附庸到自我表达:定制开发开源AI智能名片S2B2C商城小程序赋能下的营销变革
人工智能·小程序
飞哥数智坊4 小时前
新版定价不够用,Cursor如何退回旧版定价
人工智能·cursor
12点一刻4 小时前
搭建自动化工作流:探寻解放双手的有效方案(2)
运维·人工智能·自动化·deepseek
未来之窗软件服务4 小时前
东方仙盟AI数据中间件使用教程:开启数据交互与自动化应用新时代——仙盟创梦IDE
运维·人工智能·自动化·仙盟创梦ide·东方仙盟·阿雪技术观
JNU freshman5 小时前
计算机视觉速成 之 概述
人工智能·计算机视觉
说私域5 小时前
基于开源AI大模型AI智能名片S2B2C商城小程序源码的私域流量新生态构建
人工智能·开源