Linux上位机开发实战（基本图像处理）

linux平台上面，有很多场景是需要处理图像。图像本身自带了很多信息，不仅仅是拿来拍照、录视频。我们可以从图像里面，提取很多的有用信息，比如说人脸识别、二维码识别、ocr识别。今天，我们可以从图像显示开始，然后转到视频、以及信息提取上面。

1、opencv库

当前opencv基本是图像处理的标配动作。很多的算法，库都帮我们写好了。不需要自己去造轮子。这里使用opencv的时候，也不要用python，因为很多嵌入式板子没有python环境。所以，我们直接用cpp写代码就好了。

2、该硬件加速就用硬件加速

虽然opencv可以帮我们做很多事情，但是上面很多的功能都是通过软件实现的。这个时候，如果soc帮我们做了硬件加速，比如说硬件编码、硬件解码、dma、图像显示加速，这个时候就需要转成硬件加速的方式来实现，而不是用软件来实现。虽然软件也可以相同的功能，但是在处理效率上，和硬件相比较要差很多。

3、先图像，再视频

所谓的视频，其实就是一张、一张的图像构成。我们会处理单张图片，其实就可以处理视频数据，这两者没有本质的区别。就嵌入式设备而言，是不会处理单张图片的，一般都是为了处理视频而存在的。

4、usb相机更方便我们使用

嵌入式开发板上面如果需要处理视频，一般有两种方式，一种是usb camera，还有一种是mipi camera。两者的区别就是，前者本身包含了isp处理，后者需要自己isp处理。所以，对于一般的场景，其实usb camera就够了。我们把精力放在图像处理本身上面，最多做一些光源控制，就可以了。

另外目前处理camera之外，其他类似lidar数据也可以一起处理。但是camera和lidar之间一般都需要标定，这个可能稍微复杂一些。但是lidar本身有深度信息，这是camera比拟不了的。

5、opencv和qt的结合

简单来说，我们一般通过opencv或者是v4l2拿到图像之后，直接用qlabel来显示图像。至于如何从图像中获取信息，放在后台来做就好了。而图像的更新，也可以通过定时器来进行处理。这些都是opencv和qt处理的一般套路。对于图像中的信息，可以借助于qt本身自带的控件来显示和反馈。

6、最简单的qt图像显示

这里，我们介绍一种最简单的图像处理方法。不使用QWidgetApplication.cpp来处理，而是直接用main.cpp来处理，借助于QImage和QPixmap处理之后，只用QLabel显示即可。

复制代码

#include <QtWidgets/QApplication>
#include <opencv2/opencv.hpp>
#include <QImage>
#include <QPixmap>
#include <QLabel>

int main(int argc, char *argv[])
{
	QApplication a(argc, argv);

	// read image
	cv::Mat originalImage = cv::imread("lena.png");

	// transfer image to gray
	cv::Mat grayImage;
	cv::cvtColor(originalImage, grayImage, cv::COLOR_BGR2GRAY);

	// do threshold to gray image
	cv::Mat binaryImage;
	cv::threshold(grayImage, binaryImage, 128, 255, cv::THRESH_BINARY);

	// transfer image to qimage and qpixmap
	QImage qImage(binaryImage.data, binaryImage.cols, binaryImage.rows, binaryImage.step, QImage::Format_Grayscale8);
	QPixmap pixmap = QPixmap::fromImage(qImage);

	// show image in qlabel
	QLabel label;
	label.setPixmap(pixmap);
	label.show();

	return a.exec();
}