《计算机视觉》—— 基于dlib库的人脸关键部位的轮廓检测

文章目录

一、检测的思想

  • 在代码中我们将基于dlib库中的方法,调用别人已经训练好的人脸关键点定位模型 ,实现对人脸关键点的定位,这里我们将调用使用68个关键点来对人脸进行关键点定位的模型。
  • 68个关键点定位后的效果如下图:
  • 显示出的这68个关键点旁边的数字,对应的是它们的索引号,其中脸部的几个关键部位都是由固定的关键点所定位 ,如下所述:
    • [0~16] :这17个关键点用于脸颊的关键点定位
    • [17~21] :这5个关键点用于左眉毛的关键点定位
    • [22~26] :这5个关键点用于右眉毛的关键点定位
    • [27~35] :这9个关键点用于鼻子的关键点定位
    • [36~41] :这6个关键点用于左眼睛的关键点定位
    • [42~47] :这6个关键点用于右眼睛的关键点定位
    • [48~59] :这12个关键点用于嘴外部的关键点定位
    • [60~67] :这8个关键点用于嘴内部的关键点定位
  • 人脸关键点定位的实现 可以通过以下链接内容了解:
  • 根据每个人脸关键部位的关键点画出各部位的轮廓 ,效果如下:

二、代码实现

  • 眼睛和嘴 的绘制方式与其他部位有所不同,嘴和眼睛用凸包的形式画出轮廓

    • 凸包:在二维欧几里得空间中,凸包可以想象为一条刚好包着所有点的橡皮圈。换句话说,给定二维平面上的点集,凸包就是将最外层的点连接起来构成的凸多边形,它能包含点集中所有的点。
  • 在检测轮廓之前需要对人脸进行检测,以下链接是基于dlib库的人脸检测

  • 眼睛和嘴的绘制函数如下:

    python 复制代码
    def drawConvexHull(start, end):
        # 将指定的点构成一个凸包,绘制成轮廓,一般眼睛、嘴使用凸包来绘制
        Facial = shape[start: end + 1]  # shape --> 包含了68个关键点坐标
        mouthHull = cv2.convexHull(Facial)  # 凸包函数 --> 返回凸包的顶点
        # 绘制出轮廓
        cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2)
  • 其他部位的绘制函数如下:

    python 复制代码
    def drawLine(start, end):  # 将指定的点连接起来
        pts = shape[start: end]  # 获取点集 shape --> 包含了68个关键点坐标
        for l in range(1, len(pts)):  # 将每个点坐标转换为元组的形式,再用线连起来 
            ptA = tuple(pts[l - 1])
            ptB = tuple(pts[l])
            # 用连线的函数画出轮廓
            cv2.line(image, ptA, ptB, (0, 255, 0), 2)
  • 完整代码如下:

    python 复制代码
    import numpy as np
    import dlib
    import cv2
    
    """ 绘制眉毛、鼻子、脸颊的轮廓 """
    def drawLine(start, end):  # 将指定的点连接起来
        pts = shape[start: end]  # 获取点集 shape --> 包含了68个关键点坐标
        for l in range(1, len(pts)):  # 将每个点坐标转换为元组的形式,再用线连起来
            ptA = tuple(pts[l - 1])
            ptB = tuple(pts[l])
            # 用连线的函数画出轮廓
            cv2.line(image, ptA, ptB, (0, 255, 0), 2)
    
    
    """ 绘制眼睛和嘴巴的轮廓 """
    def drawConvexHull(start, end):
        # 将指定的点构成一个凸包,绘制成轮廓,一般眼睛、嘴使用凸包来绘制
        Facial = shape[start: end + 1]  # shape --> 包含了68个关键点坐标
        mouthHull = cv2.convexHull(Facial)  # 凸包函数 --> 返回凸包的顶点
        # 绘制出轮廓
        cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2)
    
    
    image = cv2.imread('kobe_2.jpg')    # 读取图片
    detector = dlib.get_frontal_face_detector()  # 构造脸部位置检测器
    faces = detector(image, 0)  # 检测人脸方框位置
    # 获取人脸关键点定位模型
    predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
    
    for face in faces:  # 对获取到得到 faces ,逐个遍历
        shape = predictor(image, face)  # 获取68个关键点
        # 将关键点转换为坐标(x, y)的形式
        shape = np.array([[p.x, p.y] for p in shape.parts()])
    
        drawConvexHull(36, 41)  # 绘制右眼凸包
        drawConvexHull(42, 47)  # 绘制左眼凸包
        drawConvexHull(48, 59)  # 绘制嘴外部凸包
        drawConvexHull(60, 67)  # 绘制嘴内部凸包
    
        drawLine(0, 17)  # 绘制脸颊点线
        drawLine(17, 22)  # 绘制左眉毛点线
        drawLine(22, 27)  # 绘制右眉毛点线
        drawLine(27, 36)  # 绘制鼻子点线
    
    # 显示结果
    cv2.imshow("Frame", image)
    cv2.waitKey()
    # 关闭窗口
    cv2.destroyAllWindows()
  • 结果如下:

  • 以下是通过打开电脑的摄像头,对画面中出现的人脸进行关键部位的轮廓检测,完整代码如下:

    python 复制代码
    def drawLine(start, end):  
        pts = shape[start: end] 
        for l in range(1, len(pts)):
            ptA = tuple(pts[l - 1])
            ptB = tuple(pts[l])
            cv2.line(image, ptA, ptB, (0, 255, 0), 2)
    
    
    def drawConvexHull(start, end):
        Facial = shape[start: end + 1]
        mouthHull = cv2.convexHull(Facial) 
        cv2.drawContours(image, [mouthHull], -1, (0, 255, 0), 2)
    
    
    cap = cv2.VideoCapture(0)   # 0-->打开电脑自带的摄像头, 1-->打开电脑外接的摄像头
    
    detector = dlib.get_frontal_face_detector()  # 构造脸部位置检测器
    
    # 获取人脸关键点定位模型
    predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
    
    if not cap.isOpened():  # 判断摄像头是否正常打开
        print("Cannot open camera")
        exit()
    
    while True:  # 若正常打开摄像头则对摄像头拍摄的每一帧画面进行循环处理
        ret, image = cap.read()  # 如果正确读取一帧图像,ret为True, image-->读取的画面
        image = cv2.flip(image, 1)  # 图片翻转,水平翻转(镜像)
        # 如果没有正确读取到图像,则退出循环
        if not ret:
            print("不能读取摄像头")
            break
    
        faces = detector(image, 0)  # 检测人脸方框位置
    
        for face in faces:  # 对获取到得到 faces ,逐个遍历
            shape = predictor(image, face)  # 获取关键点
            # 将关键点转换为坐标(x, y)的形式
            shape = np.array([[p.x, p.y] for p in shape.parts()])
    
            drawConvexHull(36, 41)  # 绘制右眼凸包
            drawConvexHull(42, 47)  # 绘制左眼凸包
            drawConvexHull(48, 59)  # 绘制最外部凸包
            drawConvexHull(60, 67)  # 绘制嘴内部凸包
    
            drawLine(0, 17)  # 绘制脸颊点线
            drawLine(17, 22)  # 绘制左眉毛点线
            drawLine(22, 27)  # 绘制右眉毛点线
            drawLine(27, 36)  # 绘制鼻子点线
        
        cv2.imshow("Frame", image)
        
        # 检查是否按下ESC键(ASCII码27),如果按下则退出循环
        if cv2.waitKey(10) == 27:
            break
    
    # 释放摄像头资源
    cap.release()
    # 关闭所有OpenCV创建的窗口
    cv2.destroyAllWindows()
相关推荐
Ronin-Lotus4 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps5 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯5 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI5 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
Ai墨芯1116 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师6 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot6 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3936 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
jonyleek7 小时前
如何搭建一套安全的,企业级本地AI专属知识库系统?从安装系统到构建知识体系,全流程!
人工智能·安全
MQ_SOFTWARE8 小时前
AI驱动的金融推理:Fin-R1模型如何重塑行业决策逻辑
人工智能·金融