C++OpenCV（3）：基础交互（视频与鼠标操作）

🔆 文章首发于我的个人博客：欢迎大佬们来逛逛

🔆 OpenCV项目地址及源代码：点击这里

文章目录

• 鼠标交互
• • 案例
• 视频读写交互
• • 视频（摄像头）转图像显示
  • 视频转图片并且保存
  • 摄像头转图片并保存
• 滑动条交互
• • 滑动条调整图片的亮度

鼠标交互

openCV中使用鼠标的交互的函数是：setMouseCallback

可以使得激活 对winname为标题的窗口进行onMouse回调函数执行的鼠标交互操作，并且可以传递用户自定义变量给userdata

void setMouseCallback(const String& winname, MouseCallback onMouse, void* userdata = 0);
/*******************************************************************
*			winname： 			监听窗口名称
*			onMouse：			  鼠标事件回调函数
*			userdata：			递给回调函数的可选参数
*********************************************************************/

关于MouseCallBack回调函数：

• 就是一个函数指针
• 传递的参数必须一致：event鼠标点击 事件， ∗ ∗ ( x , y ) ∗ ∗ **(x,y)** ∗∗(x,y)∗∗坐标，flag鼠标拖拽 事件，void* 类型的param可以转为用户自定义变量。

typedef void (*MouseCallback)(int event, int x, int y, int flags, void* userdata);
//MouseCallback onMouse
void onMouse(int event,int x,int y,int flag,void *param)
/*******************************************************************
*			event： 			事件类型
*			x：				鼠标所在图像的坐标
*			y：				
*		    flags:			代表拖拽事件
*			param:			自己定义的onMouse事件的ID
*********************************************************************/

关于event和flag的枚举类型：

• event：鼠标点击

enum MouseEventTypes {
       EVENT_MOUSEMOVE      = 0, 	//鼠标移动
       EVENT_LBUTTONDOWN    = 1, 	//鼠标左键按下
       EVENT_RBUTTONDOWN    = 2,	//鼠标右键按下 
       EVENT_MBUTTONDOWN    = 3, 	//鼠标中键按下
       EVENT_LBUTTONUP      = 4, 	//鼠标左键弹起
       EVENT_RBUTTONUP      = 5, 	//鼠标右键弹起
       EVENT_MBUTTONUP      = 6, 	//鼠标中键弹起
       EVENT_LBUTTONDBLCLK  = 7, 	//鼠标左键双击
       EVENT_RBUTTONDBLCLK  = 8, 	//鼠标右键双击
       EVENT_MBUTTONDBLCLK  = 9, 	//鼠标中间双击
       EVENT_MOUSEWHEEL     = 10,	//鼠标滚轮 正数和负数分别表示向前和向后滚动
       EVENT_MOUSEHWHEEL    = 11 	//鼠标滚轮 正数和负数分别表示向右和向左滚动  
     };

• flag：鼠标拖拽

enum MouseEventFlags {
       EVENT_FLAG_LBUTTON   = 1,    //左键拖动
       EVENT_FLAG_RBUTTON   = 2, 	//右键拖动
       EVENT_FLAG_MBUTTON   = 4, 	//中键拖动
       EVENT_FLAG_CTRLKEY   = 8, 	//ctr拖动
       EVENT_FLAG_SHIFTKEY  = 16,	//shift拖动
       EVENT_FLAG_ALTKEY    = 32 	//alt拖动
     };

---

案例

在一张图片中左键点击画圆，右键点击画矩形。

有关如何在openCV中绘制图形请参见：

OpenCV（2）：图像处理基础概念与操作 | HugeYlh

关键之处就是要有一个鼠标回调函数：

可以声明为类的静态成员函数，然后利用params进行强制转换为本类类型。

接着判断event点击的事件进行绘制即可。

static void mouseEvent(int event, int x, int y, int flag, void* params) {
		DrawShape* obj = static_cast<DrawShape*>(params);
		if (event == cv::EVENT_FLAG_LBUTTON) {
			//左键画圆
			obj->drawCircle(x, y, 20);
		}
		else if (event == cv::EVENT_FLAG_RBUTTON) {
			obj->drawRectangle(x, y, 20, 20);
		}
	}

然后在主程序中我们要激活这个回调函数，设置鼠标点击：

• 其中传递回调函数要使用函数指针的形式，即传递类的静态成员函数的地址。
• p表示我们需要传递自定义变量，以便在回调函数中 params转换为我们需要操作的 obj

int main()
{
	DrawShape* p = new DrawShape();

	//鼠标处理过程
	cv::namedWindow("mainWindow");
	//typedef void (*MouseCallback)
	//			(int event, int x, int y, int flags, void* userdata);
	cv::setMouseCallback("mainWindow", &DrawShape::mouseEvent, p);

	while (true) {
		p->show();
		if (cv::waitKey(10) == 27) {
			break;
		}
	}
	delete p;
	p = nullptr;
	return 0;
}

完整代码参见此Github项目

---

视频读写交互

使用openCV做视频操作可能不会如你想象的那么容易，因为openCV是一个强大的计算机视觉库，而不是专注于视频操作的多媒体库。

使用openCV做视频处理不能添加音频。

也许FFmpeg 库会满足你做多媒体开发的需求。

---

**VideoCapture**类型：对视频进行读取或者打开摄像头。

class VideoCapture
{
public:
    VideoCapture();
    explicit VideoCapture(const String& filename, int apiPreference = CAP_ANY);
    explicit VideoCapture(const String& filename, int apiPreference, const std::vector<int>& params);
    explicit VideoCapture(int index, int apiPreference = CAP_ANY);
    explicit VideoCapture(int index, int apiPreference, const std::vector<int>& params);
    virtual ~VideoCapture();
    virtual bool open(const String& filename, int apiPreference = CAP_ANY);
    virtual bool open(const String& filename, int apiPreference, const std::vector<int>& params);
    virtual bool open(int index, int apiPreference = CAP_ANY);
    virtual bool open(int index, int apiPreference, const std::vector<int>& params);
    virtual bool isOpened() const;
    virtual void release();
    virtual bool grab();
    virtual bool retrieve(OutputArray image, int flag = 0);
    virtual VideoCapture& operator >> (CV_OUT Mat& image);
    virtual VideoCapture& operator >> (CV_OUT UMat& image);
    virtual bool read(OutputArray image);
    virtual bool set(int propId, double value);
    virtual double get(int propId) const;
    String getBackendName() const;
    void setExceptionMode(bool enable) { throwOnFail = enable; }
    bool getExceptionMode() { return throwOnFail; }
    bool waitAny(const std::vector<VideoCapture>& streams,CV_OUT std::vector<int>& readyIndex,int64 timeoutNs = 0);
protected:
    Ptr<CvCapture> cap;
    Ptr<IVideoCapture> icap;
    bool throwOnFail;
    friend class internal::VideoCapturePrivateAccessor;
};

读取一个视频：传递给视频的文件地址即可，如果我们传递了 0，则会打开摄像头（如果存在，否则报错）

cv::VideoCapture vap("cat.MP4");
	if (!vap.isOpened()) {
		std::cout << "视频打开失败!\n";
		return -1;
	}

cv::VideoCapture vap2(0);
	if (!vap2.isOpened()) { 
		std::cout << "摄像头打开失败!\n";
		return;
	}

获取基本视频中的信息：get 函数

通过传递枚举类型来获取指定的信息：

enum VideoCaptureProperties {
       CAP_PROP_POS_MSEC       =0, //视频文件的当前位置，单位为毫秒  
       CAP_PROP_POS_FRAMES     =1, //解码/捕获的帧的基于0的索引
       CAP_PROP_POS_AVI_RATIO  =2, //视频文件的相对位置:0=影片开始，1=影片结束
       CAP_PROP_FRAME_WIDTH    =3, //视频宽度
       CAP_PROP_FRAME_HEIGHT   =4, //视频高度
       CAP_PROP_FPS            =5, //帧率
       CAP_PROP_FOURCC         =6, //4个字符的编解码器代码
       CAP_PROP_FRAME_COUNT    =7, //视频文件中的帧数
       CAP_PROP_FORMAT         =8, //视频格式
                                  
       CAP_PROP_MODE           =9, 
       CAP_PROP_BRIGHTNESS    =10, //图像亮度(摄像模式)
       CAP_PROP_CONTRAST      =11, //图像对比度(摄像模式)
       CAP_PROP_SATURATION    =12, //图像饱和度(摄像模式)
       CAP_PROP_HUE           =13, //图像的色调(摄像模式)
       CAP_PROP_GAIN          =14, //图像增益(摄像模式)
       CAP_PROP_EXPOSURE      =15, //曝光(摄像模式)
       CAP_PROP_CONVERT_RGB   =16, //图像是否应该转换为RGB的布尔标记
	     
				.......
     };

例如：

void testProerity(cv::VideoCapture vap) {
	std::cout << "宽度: " << vap.get(cv::CAP_PROP_FRAME_WIDTH) << '\n';
	std::cout << "高度: " << vap.get(cv::CAP_PROP_FRAME_HEIGHT) << '\n';
	std::cout << "帧数: " << vap.get(cv::CAP_PROP_FRAME_COUNT) << '\n';
	std::cout << "帧率: " << vap.get(cv::CAP_PROP_FPS) << '\n';
}

---

视频（摄像头）转图像显示

我们加载好视频后，注意到VideoCapture重载了 >> 运算符，因此可以将其重定向到一张Mat上面。

然后再一直显示这张Mat，就可以做到一张一张的图片显示，看起来像视频一样。

如果我们按下ESC则退出或者播放完成后 ，图片为null了

void testCameraToImageShow(cv::VideoCapture vedio) {
	//显示视频
	cv::Mat image;
	while (true) {
		vedio >> image;
		if (image.empty() || cv::waitKey(10) == 27) {
			break;//为null则结束
		}
		cv::imshow("cat", image);
	}
	vedio.release();
}

对于摄像头的转图片显示，我们只需要传递一个 VideoCapture xxx(0) 即可其他的全是一样的。

---

视频转图片并且保存

基本操作与上类似，只不过在**imshow**的地方我们改成了保存的操作（当然你也可以一边显示一边保存）

保存过程：imwrite函数

• name：第一个参数表示保存的路径，传递前缀 与文件名字 与后缀 来完成：cat/1.png
• image：保存的图片

void testCameraToPngImageSave(cv::VideoCapture vedio,std::string& prefilename) {
	cv::Mat image;
	int index = 1;
	while (true) {
		vedio >> image;
		if (image.empty() || cv::waitKey(10) == 27) {
			break;
		}
		std::string name = prefilename + std::to_string(index++) + ".png";
		cv::imwrite(name, image);
	}
	vedio.release();
}

---

摄像头转图片并保存

如果是摄像头则我们不能用：imwrite

有一个**VideoWriter** 提供了这样的操作：通过创建一个VideoWriter类型的变量，然后通过 << 重载往它里面写入来完成。

注意**VideoWriter** 的创建：

• "save.avi" ：表示保存的视频路径
• cv::VideoWriter::fourcc('M', 'J', 'P', 'G')：视频的解码器，MJPG表示mp4格式，点击了解更多格式
• 30：fps帧率
• cv::Size(width,height)：保存的尺寸大小
• true：是否显示颜色（三通道）

save.open("save.avi", cv::VideoWriter::fourcc('M', 'J', 'P', 'G'),30, cv::Size(width,height), true);

具体操作如下：

void CameraSave() {
	cv::VideoCapture cap(0);
	if (!cap.isOpened()) {
		std::cout << "摄像头打开失败!\n";
		return;
	}
	//获取宽度和高度
	int width = cap.get(cv::CAP_PROP_FRAME_WIDTH);
	int height = cap.get(cv::CAP_PROP_FRAME_HEIGHT);
	cv::VideoWriter save{};
	save.open("save.avi", 
		cv::VideoWriter::fourcc('M', 'J', 'P', 'G'),
		30, cv::Size(width,height), true);
	cv::Mat image;
	while (true) {
		cap >> image;
		cv::imshow("摄像头", image);
		save << image; //往流中写入
		if (cv::waitKey(10) == 27) {
			break;
		}
	}
	cap.release();
	save.release();
}

---

滑动条交互

对于滑动条交互也是和鼠标交互类似的：

int createTrackbar(const String& trackbarname, const String& winname,int* value, int count,TrackbarCallback onChange = 0,void* userdata = 0);
/*******************************************************************
*			trackbarname： 		滑动条名字
*			winname：			    依附窗口名
*			value：				    滑块位置
*			count:				    滑块最大值(最小值是0)
*			onChange：			  滑块回调函数
*			userdata：			  用户回传给回调函数的数据
*********************************************************************/

TrackbarCallback 回调函数：

typedef void (*TrackbarCallback)(int pos, void* userdata);
void On_Trackbar(int pos, void* userdata);
/*******************************************************************
*			pos： 			    位置
*			userdata：			用户回传给回调函数的数据
*********************************************************************/

---

滑动条调整图片的亮度

涉及到对图片的像素操作

详细请看上节内容：

OpenCV（2）：图像处理基础概念与操作 | HugeYlh

我们规定一个初始值：current和一个最大值：maxValue，通过调节可以调整此值：

定义：

• 一个beta表示偏移量
• alpha表示亮度的调整值
• copyMat：对一个新的Mat进行像素运算操作，否则无法还原。

对于三通道RGB来说：

• 如果我们调整为最小值：0
  • 则RGB为（30，30，30）此时为黑色，因此beta就是我们的最小颜色值 ，即偏移量。
• 然后alpha会根据我们当前滑动条的值进行调整，变大 。
  • 然后执行像素运算后（xxx，xxx，xxx）就会越来越大，达到亮度提高的效果。

最后显示此图像即可。

---

对于此回调函数的实现：

//滑动条回调函数
	static void OnTrack(int pos,void* params){
		TrackBar* obj = static_cast<TrackBar*>(params);
		cv::Mat copyMat = cv::Mat::zeros(obj->mt.size(), obj->mt.type());
		int dims = obj->mt.channels();
		float beta = 30, alpha = 0.1 + (float)pos / 10.0;
		for (int i = 0; i < obj->mt.rows; i++) {
			for (int j = 0; j < obj->mt.cols; j++) {
				if (dims == 1) {
					uchar pix = obj->mt.at<uchar>(i, j);
					copyMat.at<uchar>(i,j) = cv::saturate_cast<uchar>(pix * alpha + beta);
				}
				else if (dims == 3) {
					cv::Vec3b vec = obj->mt.at<cv::Vec3b>(i, j);
					float b = vec[0], g = vec[1], r = vec[2];
					copyMat.at<cv::Vec3b>(i, j)[0] = cv::saturate_cast<uchar>(b * alpha + beta);
					copyMat.at<cv::Vec3b>(i, j)[1] = cv::saturate_cast<uchar>(g * alpha + beta);
					copyMat.at<cv::Vec3b>(i, j)[2] = cv::saturate_cast<uchar>(r * alpha + beta);
				}
				else {
					return;
				}
			}		
		}
		cv::imshow("trackBarWindow", copyMat); //显示操作后的图像
	}

---

完整代码详见Github项目源码。

https://github.com/luumod/openCV-learning-record