EmguCV学习笔记 VB.Net 10.1 人脸检测 CascadeClassifier类

EmguCV是一个基于OpenCV的开源免费的跨平台计算机视觉库,它向C#和VB.NET开发者提供了OpenCV库的大部分功能。

教程VB.net版本请访问： EmguCV学习笔记 VB.Net 目录-CSDN博客

笔者的博客网址：https://blog.csdn.net/uruseibest

教程配套文件及相关说明以及如何获得pdf教程和代码，请移步： EmguCV学习笔记

学习VB.Net知识，请移步： vb.net 教程目录_vb中如何用datagridview-CSDN博客

10.1 人脸检测 CascadeClassifier类

CascadeClassifier类是EmguCV中用于人脸检测的一个重要类。它是基于Haar特征的级联分类器（Cascade Classifier，是一种基于Haar特征的目标检测算法），它具有较高的检测准确率，常用于人脸检测、行人检测等场景。

CascadeClassifier类的基本原理可以分为以下几个步骤：

特征提取。首先，需要对图像进行特征提取，将图像转换为一组特征向量。Haar特征是一种基于图像亮度变化的特征，可以用于检测人脸的边缘、线段和区域等特征。
训练分类器。根据特征向量，可以训练一个级联分类器，将人脸和非人脸区域进行分类。级联分类器由多个弱分类器组成，每个弱分类器可以检测特定的Haar特征。
应用分类器。将分类器应用于图像中的每个窗口，检测其中是否包含人脸。由于Haar特征的计算量较大，可以采用图像金字塔的方法对图像进行缩放，以便在不同尺度的图像中进行人脸检测。

在实现中，CascadeClassifier类提供了一系列的接口函数，可以用于加载训练好的分类器、设置检测参数、进行人脸检测等操作。在使用时，需要调用CascadeClassifier类中的DetectMultiScale函数，传入待检测的图像和检测参数，可以得到检测结果，即图像中所有人脸的位置和大小。需要注意的是，级联分类器虽然在人脸检测等场景中表现良好，但在一些复杂场景下可能会出现漏检或误检的情况。

CascadeClassifier常用方法：

CascadeClassifier构造函数

该方法用于创建CascadeClassifier对象，并加载指定的级联分类器文件。其语法为：

Public Sub New(ByVal fileName As String)

参数说明：

fileName：要加载的级联分类器XML文件。常用的级联分类器XML文件有：

haarcascade_frontalface_alt.xml：人脸检测器，使用的是Haar特征，能够检测正脸、侧脸、带眼镜等多种情况的人脸。
haarcascade_eye.xml：眼睛检测器，能够检测人脸中的眼睛。
haarcascade_fullbody.xml：行人检测器，能够检测整个行人的图像。
haarcascade_upperbody.xml：上半身检测器，能够检测行人的上半身区域。
haarcascade_car.xml：车辆检测器，能够检测汽车的前部和侧部。
DetectMultiScale方法

该方法用于对图像进行目标检测并返回检测结果。其声明如下：

Public Function DetectMultiScale (

image As IInputArray,

Optional scaleFactor As Double = 1.1,

Optional minNeighbors As Integer = 3,

Optional minSize As Size = Nothing,

Optional maxSize As Size = Nothing

) As Rectangle()

参数说明：

Image：待检测的图像。
scaleFactor：缩放比例因子，缩放比例越小，检测时间越长，检测精度越高。
minNeighbors：符合检测标记的个数，用于控制对象检测时候的误检率和漏检率，参数越大，检测结果越精确，但是漏检率也会增加。
minSize：检测目标的最小尺寸，小于此尺寸的目标将被忽略。
maxSize：检测目标的最大尺寸，大于此尺寸的目标将被忽略。

返回值：

返回一个矩形数组，表示图像中所有检测到的目标位置和大小。

下面将提供多个代码来说明级联分类器的使用。

【代码位置：frmChapter10】Button1_Click

'级联分类器检测人脸

Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click

'使用训练好的某个识别文件

Dim face As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

Dim m As New Mat("C:\learnEmgucv\hy.jpg", ImreadModes.Color)

Dim rects() As Rectangle

'使用级联分类器进行检测

rects = face.DetectMultiScale(m)

'输出矩形框

For i As Integer = 0 To rects.Length - 1

CvInvoke.Rectangle(m, rects(i), New MCvScalar(0, 0, 255), 2)

ImageBox1.Image = m

End Sub

输出结果如下图所示：

图10-1 多个人脸检测

两个级联分类器联合使用来检测鼻子：

【代码位置：frmChapter10】Button2_Click

'两个级联分类器联合使用来检测鼻子

Private Sub Button2_Click(sender As Object, e As EventArgs) Handles Button2.Click

'级联分类器，训练好的人脸文件

Dim face As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

'级联分类器，训练好的鼻子文件

Dim nose As New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_mcs_nose.xml")

Dim m As New Mat("C:\learnEmgucv\hy1.jpg", ImreadModes.Color)

Dim rectfaces() As Rectangle

rectfaces = face.DetectMultiScale(m)

For i As Integer = 0 To rectfaces.Length - 1

CvInvoke.Rectangle(m, rectfaces(i), New MCvScalar(0, 0, 255), 2)

'获得已经取得的人脸区域图像，将在此区域内进行检测

Dim mFace As New Mat(m, rectfaces(i))

Dim rectnoses() As Rectangle

rectnoses = nose.DetectMultiScale(mFace)

'绘制出检测到的鼻子区域矩形框

For j As Integer = 0 To rectnoses.Length - 1

CvInvoke.Rectangle(mFace, rectnoses(j), New MCvScalar(0, 255, 0), 2)

ImageBox1.Image = m

End Sub

输出结果如下图所示：

图10-2 检测鼻子

检测并标识视频中的人脸：

【代码位置：frmChapter10】Button3_Click、vcCascade_ImageGrabbed、Button4_Click

Dim vcCascade As VideoCapture

Dim vcface As CascadeClassifier

'是否停止视频标记

Dim stopVC As Boolean

'检测并标识视频中的人脸

'具体检测代码在vcCascade_ImageGrabbed中

Private Sub Button3_Click(sender As Object, e As EventArgs) Handles Button3.Click

vcCascade = New VideoCapture(0)

If vcCascade.IsOpened = False Then

MessageBox.Show("打开文件失败")

Exit Sub

End If

stopVC = False

'添加ImageGrabbed事件

AddHandler vcCascade.ImageGrabbed, AddressOf vcCascade_ImageGrabbed

vcCascade.Start()

vcface = New CascadeClassifier("C:\learnEmgucv\haarcascade\haarcascade_frontalface_alt2.xml")

End Sub

'检测人脸

Private Sub vcCascade_ImageGrabbed(sender As Object, e As EventArgs)

If stopVC = True Then

'停止

vcCascade.Stop()

'释放资源

vcCascade.Dispose()

'取消事件

RemoveHandler vcCascade.ImageGrabbed, AddressOf vcCascade_ImageGrabbed

Exit Sub

End If

Dim nextframe As New Mat

vcCascade.Retrieve(nextframe)

Dim rectfaces() As Rectangle

'检测人脸

rectfaces = vcface.DetectMultiScale(nextframe)

For i As Integer = 0 To rectfaces.Length - 1

'绘制人脸矩形框

CvInvoke.Rectangle(nextframe, rectfaces(i), New MCvScalar(0, 0, 255), 2)

ImageBox1.Image = nextframe

Threading.Thread.Sleep(40)

End Sub

'停止视频

Private Sub Button4_Click(sender As Object, e As EventArgs) Handles Button4.Click

stopVC = True

End Sub

输出结果由于笔者比较丑而显示空白。