[18] Opencv_CUDA应用之 基于颜色的对象检测与跟踪

Opencv_CUDA应用之 基于颜色的对象检测与跟踪

• 使用颜色作为特征来检测特定颜色的对象
• 当要检测的对象具有特定颜色且该颜色与背景颜色不同时此方法很有用
• 本方法不适用于对象与背景颜色相近的情况

蓝色对象检测与跟踪

• 首先肯定会想到如何将蓝色分割出来？该使用哪个色彩空间？
• RGB颜色空间不会将颜色信息与强度信息分开，能将颜色信息与强度信息分开的颜色空间包括HSV和YCrCb（其中Y'是亮度分量，CB和CR是蓝色差异和红色差异色度分量，非常适合这种类型的色彩信息任务）
• 每种颜色在色调通道中都有一个特定的范围，可用于检测该颜色
• 用于启动网络摄像机，捕获帧以及上传GPU操作的设备显存的例程如下：

#include <iostream>
#include "opencv2/opencv.hpp"
#include<opencv2/cudaimgproc.hpp>
#include<opencv2/cudaarithm.hpp>

using namespace cv;
using namespace std;

int main(int argc, char** argv)
{
    VideoCapture cap(0); //capture the video from web cam
    // if webcam is not available then exit the program
    if (!cap.isOpened())
    {
        cout << "Cannot open the web cam" << endl;
        return -1;
    }
    while (true)
    {
        Mat frame;
        // read a new frame from webcam
        bool flag = cap.read(frame);
        if (!flag)
        {
            cout << "Cannot read a frame from webcam" << endl;
            break;
        }

        cuda::GpuMat d_frame, d_frame_hsv, d_intermediate, d_result;
        cuda::GpuMat d_frame_shsv[3];
        cuda::GpuMat d_thresc[3];
        Mat h_result;
        d_frame.upload(frame);
        //Transform image to HSV
        cuda::cvtColor(d_frame, d_frame_hsv, COLOR_BGR2HSV);

        //Split HSV 3 channels 通道分离
        cuda::split(d_frame_hsv, d_frame_shsv);

        //Threshold HSV channels
        cuda::threshold(d_frame_shsv[0], d_thresc[0], 110, 130, THRESH_BINARY);
        cuda::threshold(d_frame_shsv[1], d_thresc[1], 50, 255, THRESH_BINARY);
        cuda::threshold(d_frame_shsv[2], d_thresc[2], 50, 255, THRESH_BINARY);

        //Bitwise AND the channels
        cv::cuda::bitwise_and(d_thresc[0], d_thresc[1], d_intermediate);
        cv::cuda::bitwise_and(d_intermediate, d_thresc[2], d_result);

        d_result.download(h_result);
        imshow("Thresholded Image", h_result);
        imshow("Original", frame);

        if (waitKey(1) == 'q')
        {
            break;
        }
    }
    return 0;
}

• 如果想要检测蓝色，我们需要在HSV空间找到蓝色范围，三个通道的蓝色范围、色调、饱和度值如下所示：

lower_range = [110,50,50]
upper_range = [130,255,255]

• 此范围将用于过滤特定通道中的图像，以创建蓝色的掩码。如果此掩码再次与原始帧进行AND运算，则结果图像中只剩蓝色对象，代码如下：

//Transform image to HSV
        cuda::cvtColor(d_frame, d_frame_hsv, COLOR_BGR2HSV);

        //Split HSV 3 channels 通道分离
        cuda::split(d_frame_hsv, d_frame_shsv);

        //Threshold HSV channels
        cuda::threshold(d_frame_shsv[0], d_thresc[0], 110, 130, THRESH_BINARY);
        cuda::threshold(d_frame_shsv[1], d_thresc[1], 50, 255, THRESH_BINARY);
        cuda::threshold(d_frame_shsv[2], d_thresc[2], 50, 255, THRESH_BINARY);

        //Bitwise AND the channels
        cv::cuda::bitwise_and(d_thresc[0], d_thresc[1], d_intermediate);
        cv::cuda::bitwise_and(d_intermediate, d_thresc[2], d_result);

• 视频流中的帧将转换为HSV空间，蓝色在三个通道中具有不同的范围，因此每个通道必须单独设置阈值
• 使用 split 方法分割通道，并使用 threshold 函数进行阈值处理
• 每个通道的最小和最大范围用作下限和上限，此范围内的通道值将转换为白色，其他值将转换为黑色
• 这三个阈值通道在逻辑上进行AND运算，以获得蓝色的最终掩码，以此掩码可用于检测和跟踪视频中具有蓝色的目标对象