OpenCV 人脸检测与识别实战：从静态图像到视频流

1. 引言

随着计算机视觉技术的快速发展，人脸检测与人脸识别已经成为人工智能应用中最常见、最基础的功能之一。无论是手机相册的智能分类、安防监控的实时布控，还是社交平台的自动美颜，背后都离不开人脸检测与识别算法的支撑。

OpenCV 作为一款开源计算机视觉库，凭借其跨平台、高性能、接口丰富等优势，成为开发者入门计算机视觉的首选工具。本文将从实际代码出发，系统讲解如何使用 OpenCV 完成人脸检测、微笑检测、视频流实时检测以及基于特征脸的人脸识别，帮助读者快速掌握这一系列核心技能。

本文涉及的代码均基于 Python 语言编写，使用 OpenCV 官方提供的 Haar 级联分类器与 EigenFace 特征脸识别器。读者在阅读时建议同步运行代码，以便更直观地理解每个步骤的作用。

2. 环境准备与基础知识

在开始编写代码之前，需要先完成环境搭建。建议使用 Python 3.7 及以上版本，并通过 pip 安装 OpenCV 及其扩展模块。

pip install opencv-python
pip install opencv-contrib-python

其中 opencv-contrib-python 包含了人脸识别所需的 EigenFaceRecognizer 等扩展功能模块，如果只安装基础版 opencv-python，将无法使用 cv2.face 相关接口。

此外，还需要准备 Haar 级联分类器文件。OpenCV 官方提供了多个预训练模型，常见的有：

• haarcascade_frontalface_default.xml：用于正面人脸检测。
• haarcascade_smile.xml：用于微笑检测。
• haarcascade_eye.xml：用于眼睛检测。

这些 XML 文件可以在 OpenCV 的 GitHub 仓库中找到，也可以从本地安装目录的 cv2/data 文件夹中获取。将所需文件复制到项目目录下即可。

3. 静态图像中的人脸检测

人脸检测的目标是在图像中定位人脸的位置，并用矩形框将其标注出来。OpenCV 使用 Haar 级联分类器实现这一功能，其核心思想是通过滑动窗口在不同尺度下扫描图像，利用训练好的特征判断每个窗口是否包含人脸。

3.1 图像读取与预处理

首先读取一张图片，并对其进行必要的预处理。由于 Haar 分类器对灰度图像的处理效率更高，通常先将彩色图像转换为灰度图。

import cv2
image = cv2.imread('exo.jpg')
image1 = cv2.resize(image, (600, 600))
gray = cv2.cvtColor(image1, cv2.COLOR_BGR2GRAY)

上述代码完成了三个步骤：读取图片、将图片缩放到 600×600 的固定尺寸、将彩色图像转换为灰度图像。缩放操作可以统一输入尺寸，便于后续处理；灰度化则减少了计算量，同时保留了检测所需的纹理信息。

3.2 加载级联分类器

接下来加载 Haar 级联分类器模型文件。该文件包含了训练好的特征数据，用于判断图像区域是否为人脸。

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

如果文件路径正确，faceCascade 对象将成功创建。若加载失败，程序会在后续调用 detectMultiScale 时抛出异常，因此务必确认 XML 文件存在于当前工作目录。

3.3 使用 detectMultiScale 检测人脸

detectMultiScale 是 Haar 分类器的核心检测方法，其函数原型如下：

objects = cv2.CascadeClassifier.detectMultiScale(image, scaleFactor, minNeighbors, flags, minSize, maxSize)

各参数含义如下：

• image：待检测图像，通常为灰度图像。
• scaleFactor：表示在前后两次相继扫描中搜索窗口的缩放比例。识别过程中会按照不同比例对图像进行扫描，该值越小，检测越精细，但计算量也越大。
• minNeighbors：表示构成检测目标的相邻矩形的最小个数。默认值为 3，表示有 3 个以上的检测标记存在时才认为存在人脸。提高该值可以提升准确率，但可能导致部分人脸无法被检测到。
• flags：该参数通常被省略。在使用低版本 OpenCV（1.X 版本）时，该参数可能会被设置为 CV_HAAR_DO_CANNY_PRUNING，表示使用 Canny 边缘检测器拒绝一些区域。
• minSize：目标的最小尺寸，小于该尺寸的目标将被忽略。
• maxSize：目标的最大尺寸，大于该尺寸的目标将被忽略。通常情况下，将该可选参数省略即可。若 maxSize 和 minSize 大小一致，则表示仅在一个尺度上查找目标。
• objects：返回值，目标对象的矩形框向量组。该值是一组矩形信息，包含每个检测到的人脸对应的矩形框的信息，即 x 轴方向位置、y 轴方向位置、宽度、高度。

下面调用该方法对灰度图像进行人脸检测：

faces = faceCascade.detectMultiScale(gray, scaleFactor=1.05, minNeighbors=6, minSize=(8, 8))
print(f"发现{len(faces)}张人脸")
print("其位置分别是：", faces)

这里将 scaleFactor 设置为 1.05，表示每次扫描窗口缩小 5%；minNeighbors 设置为 6，要求至少 6 个相邻矩形确认才认定为人脸，以提高检测准确率；minSize 设置为 (8, 8)，忽略小于 8×8 像素的区域。

3.4 标注人脸并显示结果

检测完成后，遍历返回的矩形框信息，在原图上绘制绿色矩形框标注人脸位置，并显示结果。

for (x, y, w, h) in faces:
    cv2.rectangle(image1, (x, y), (x + w, y + h), (0, 255, 0), 2)
cv2.imshow("result", image1)
cv2.waitKey(0)
cv2.destroyAllWindows()

cv2.rectangle 函数的参数依次为：目标图像、矩形左上角坐标、矩形右下角坐标、颜色（BGR 格式）、线条粗细。这里使用绿色 (0, 255, 0) 绘制宽度为 2 像素的矩形框。

运行上述代码后，程序会弹出一个窗口，显示标注了人脸位置的图像。按下任意键即可关闭窗口。

4. 摄像头实时人脸检测

静态图像检测只是入门，实际应用中更常见的是对视频流进行实时检测。OpenCV 提供了 VideoCapture 类，可以方便地读取摄像头画面或视频文件。

4.1 打开摄像头

使用 VideoCapture(0) 打开默认摄像头，参数 0 表示第一个摄像头设备。如果电脑连接了多个摄像头，可以尝试传入 1、2 等参数。

video = cv2.VideoCapture(0)
if not video.isOpened():
    print("无法打开视频")
    exit()

isOpened 方法用于检查摄像头是否成功打开。如果打开失败，程序将输出提示信息并退出。

4.2 循环读取视频帧

视频本质上是一系列连续的图像帧。通过循环不断调用 video.read() 获取每一帧图像，并对每一帧执行人脸检测。

while True:
    ret, frame = video.read()
    if not ret:
        break
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    cv2.imshow('video', frame)
    if cv2.waitKey(60) == 27:
        break

read 方法返回两个值：ret 表示是否成功读取到帧，frame 为当前帧图像。当视频结束或摄像头异常时，ret 为 False，此时退出循环。waitKey(60) 表示等待 60 毫秒，若按下 ESC 键（ASCII 码为 27）则退出循环。

4.3 在视频帧中检测并标注人脸

对每一帧图像执行与静态图像相同的人脸检测流程，并在原帧上绘制矩形框。

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
faces = faceCascade.detectMultiScale(frame, scaleFactor=1.05, minNeighbors=6, minSize=(8, 8))
for (x, y, w, h) in faces:
    cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 255, 0), 2)
cv2.imshow("result", frame)
cv2.waitKey(0)
cv2.destroyAllWindows()

这里直接对彩色帧 frame 进行检测，而不是灰度图。detectMultiScale 内部会自动处理灰度转换，因此两种写法均可。不过为了性能考虑，建议先转换为灰度图再检测，可以减少重复计算。

5. 视频文件中的人脸与微笑检测

除了摄像头，OpenCV 还可以读取视频文件进行离线检测。本节将实现一个更复杂的场景：从视频文件中检测人脸，并在人脸区域内进一步检测微笑。

5.1 加载分类器与视频文件

同时加载人脸分类器和微笑分类器，并打开视频文件。

import cv2
faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
smile = cv2.CascadeClassifier('haarcascade_smile.xml')
cap = cv2.VideoCapture('dyx.mp4')

5.2 循环处理视频帧

逐帧读取视频，对每一帧进行水平翻转（镜像处理），然后执行人脸检测。

while True:
    ret, image = cap.read()
    image = cv2.flip(image, 1)  # 图片翻转，水平翻转（镜像）
    if ret is None:
        break
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=15, minSize=(5, 5))

cv2.flip(image, 1) 实现水平翻转，参数 1 表示绕 y 轴翻转，即镜像效果。这里将 minNeighbors 设置为 15，要求更高的置信度，减少误检。

5.3 人脸区域内检测微笑

对于检测到的每个人脸区域，提取其灰度子图，并在该子图内进行微笑检测。这样可以显著缩小搜索范围，提高检测效率和准确率。

for (x, y, w, h) in faces:
    cv2.rectangle(image, (x, y), (x + w, y + h), (0, 255, 0), 2)
    # 提取人脸所在区域，单通道形式
    roi_gray_face = gray[y:y + h, x:x + w]
    cv2.imshow('lian', roi_gray_face)
    # 微笑检测，仅在人脸区域内检测
    smiles = smile.detectMultiScale(roi_gray_face, scaleFactor=1.5, minNeighbors=10, minSize=(50, 50))
    for (sx, sy, sw, sh) in smiles:
        a = x + sx
        b = y + sy
        cv2.rectangle(image, (a, b), (a + sw, b + sh), (255, 0, 0), 2)
        cv2.putText(image, 'smile', (x, y), cv2.FONT_HERSHEY_SCRIPT_SIMPLEX, 1, (0, 255, 255), thickness=2)

这里的关键在于坐标换算。微笑检测返回的坐标 (sx, sy) 是相对于人脸子图的，需要加上人脸在原图中的偏移量 (x, y)，才能得到微笑在原图中的真实位置。cv2.putText 用于在图像上绘制文字，这里在检测到微笑时标注 smile 字样。

5.4 显示结果并退出

最后显示检测结果，并设置按键退出机制。

cv2.imshow('dect', image)
key = cv2.waitKey(100)
if key == 27:
    break
cap.release()
cv2.destroyAllWindows()

waitKey(100) 表示每帧等待 100 毫秒，即每秒处理约 10 帧。视频处理完毕后，调用 release 释放资源，并关闭所有窗口。

6. 基于 EigenFace 的人脸识别

人脸检测解决的是"图像中是否有人脸、人脸在哪里"的问题，而人脸识别则要回答"这个人是谁"。本节使用 OpenCV 的 EigenFaceRecognizer 实现一个简单的人脸识别系统。

6.1 准备训练数据

首先准备训练样本。每个人采集多张人脸图像，统一缩放到相同尺寸，并为其分配标签。

import cv2
import numpy as np
images = []
# resize 是宽度和高度
a = cv2.imread('dyx1.jpg', 0)
a = cv2.resize(a, (120, 180))
b = cv2.imread('dyx2.jpg', 0)
b = cv2.resize(b, (120, 180))
c = cv2.imread('hmh1.jpg', 0)
c = cv2.resize(c, (120, 180))
d = cv2.imread('hmh2.jpg', 0)
d = cv2.resize(d, (120, 180))
images.append(a)
images.append(b)
images.append(c)
images.append(d)
labels = [0, 0, 1, 1]

这里使用 4 张图片作为训练集，其中 dyx1.jpg 和 dyx2.jpg 属于同一个人，标签为 0；hmh1.jpg 和 hmh2.jpg 属于另一个人，标签为 1。所有图片统一缩放为 120×180 像素，并以灰度模式读取。

6.2 创建识别器并训练

创建 EigenFaceRecognizer 识别器，设置阈值，并使用训练数据和标签进行训练。

pre_image = cv2.imread("test1.jpg", 0)
pre_image = cv2.resize(pre_image, (120, 180))
recognizer = cv2.face.EigenFaceRecognizer_create(threshold=5000)
recognizer.train(images, np.array(labels))

threshold 参数表示置信度阈值。当预测结果的置信度超过该值时，认为识别对象不在训练集中。阈值越小，识别越严格。

6.3 预测并输出结果

使用训练好的识别器对测试图像进行预测，得到标签和置信度，并通过字典映射输出人名。

label, confidence = recognizer.predict(pre_image)
dic = {0: "dyx", 1: "hmh", -1: "-1"}
print("这人是：", dic[label])
print('置信度', confidence)

predict 方法返回两个值：label 为预测的标签，confidence 为置信度。置信度越低，表示匹配程度越高。字典 dic 将数字标签映射为可读的人名。

6.4 在图像上标注识别结果

最后将识别结果绘制到测试图像上并显示。

aa = cv2.putText(cv2.imread('test1.jpg').copy(), dic[label], (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)
cv2.imshow("xx", aa)
cv2.waitKey(0)

这里重新读取了彩色版本的测试图像，并在左上角绘制识别出的人名。FONT_HERSHEY_SIMPLEX 是 OpenCV 内置的字体，0.9 为字体缩放比例，(0, 255, 0) 为绿色，2 为线条粗细。

7. 常见问题与优化建议

在实际运行上述代码时，可能会遇到一些问题，这里总结常见的故障原因与解决方案。

7.1 分类器文件加载失败

如果 CascadeClassifier 加载失败，通常是因为 XML 文件路径不正确。建议使用绝对路径，或者将 XML 文件复制到与 Python 脚本相同的目录下。也可以通过以下代码检查是否加载成功：

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
if faceCascade.empty():
    print("分类器加载失败，请检查文件路径")
else:
    print("分类器加载成功")

7.2 检测结果不准确

如果检测到的人脸数量过多或过少，可以尝试调整 detectMultiScale 的参数。增大 minNeighbors 可以减少误检，但可能漏掉部分人脸；减小 scaleFactor 可以提高检测精度，但会显著增加计算时间。建议根据实际场景反复调试，找到最合适的参数组合。

7.3 摄像头无法打开

如果 VideoCapture(0) 无法打开摄像头，可能是摄像头被其他程序占用，或者设备编号不正确。可以尝试更换编号（如 1、2），或者检查系统是否授予了摄像头访问权限。

7.4 识别置信度偏高

当 EigenFace 识别结果的置信度偏高时，通常是因为训练样本过少或样本质量不佳。建议为每个人采集更多、更清晰、光照一致的人脸图像，并确保所有样本尺寸统一。此外，也可以适当调高 threshold 阈值，以放宽识别条件。

8. 总结

本文从实际代码出发，系统讲解了使用 OpenCV 进行人脸检测与人脸识别的完整流程。首先介绍了 Haar 级联分类器的基本原理与 detectMultiScale 方法的核心参数，然后依次实现了静态图像人脸检测、摄像头实时检测、视频文件中的微笑检测，最后通过 EigenFace 特征脸识别器完成了简单的人脸识别任务。

通过本文的学习，读者应当掌握以下核心技能：能够使用 Haar 级联分类器在图像和视频中定位人脸；能够在人脸区域内进行微笑等局部特征检测；能够使用 EigenFace 识别器完成训练、预测与结果标注。这些能力是进一步学习深度学习人脸识别技术的重要基础。

在实际项目中，Haar 级联分类器虽然轻量高效，但在复杂光照、大角度姿态等场景下鲁棒性有限。如果追求更高的识别准确率，可以进一步学习基于深度学习的 MTCNN、FaceNet 等方案。希望本文能为读者的计算机视觉学习之路提供有价值的参考。