《计算机视觉》—— 表情识别

  • 根据计算眼睛、嘴巴的变化,判断是什么表情

  • 结合以下两篇文章来理解表情识别的实现方法

  • 完整代码如下:

    python 复制代码
    import numpy as np
    import dlib
    import cv2
    from sklearn.metrics.pairwise import euclidean_distances
    from PIL import Image, ImageDraw, ImageFont
    
    # 计算眼睛的宽高比
    def eye_aspect_ratio(eye):
        A = euclidean_distances(eye[1].reshape(1, 2), eye[5].reshape(1, 2))
        B = euclidean_distances(eye[2].reshape(1, 2), eye[4].reshape(1, 2))
        C = euclidean_distances(eye[0].reshape(1, 2), eye[3].reshape(1, 2))
        ear = ((A + B) / 2.0) / C
        return ear
    
    
    # 计算嘴的宽高比
    def MAR(shape):
        x = shape[50]
        y = shape[50].reshape(1, 2)
    
        A = euclidean_distances(shape[50].reshape(1, 2), shape[58].reshape(1, 2))
        B = euclidean_distances(shape[51].reshape(1, 2), shape[57].reshape(1, 2))
        C = euclidean_distances(shape[52].reshape(1, 2), shape[56].reshape(1, 2))
        D = euclidean_distances(shape[48].reshape(1, 2), shape[54].reshape(1, 2))
        return ((A + B + C) / 3) / D
    
    
    # 计算嘴宽度与脸颊宽度的比值
    def MJR(shape):
        M = euclidean_distances(shape[48].reshape(1, 2), shape[54].reshape(1, 2))  # 嘴宽度
        J = euclidean_distances(shape[3].reshape(1, 2), shape[13].reshape(1, 2))  # 下颌的宽度
        return M / J
    
    """ 向图片中添加中文 """
    def cv2AddChineseText(img, text, position, textColor=(0, 255, 0), textSize=30):
        if (isinstance(img, np.ndarray)):  # 判断是否是OpenCV图片类型
            img = Image.fromarray(cv2.cvtColor(img, cv2.COLOR_BGR2RGB))  # 实现 array 到 image 的转换
        draw = ImageDraw.Draw(img)  # 在img图片上创建一个绘图的对象
        # 字体的格式                       C 盘中的 Windows/Fonts 中,复制到此文件夹下可看到文件名
        fontStyle = ImageFont.truetype("simsun.ttc", textSize, encoding="utf-8")
        draw.text(position, text, textColor, font=fontStyle)  # 绘制文本
        return cv2.cvtColor(np.asarray(img), cv2.COLOR_RGB2BGR)  # 转换回 OpenCV 格式
    
    
    # 构建脸部位置检测器
    detector = dlib.get_frontal_face_detector()
    
    # 读取人脸关键点定位模型
    predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
    
    # 打开摄像头或视频
    cap = cv2.VideoCapture(0)
    
    while True:
        ret, frame = cap.read()
        frame = cv2.flip(frame, 1)
    
        faces = detector(frame, 0)  # 获取图片中全部人脸位置
    
        for face in faces:
            shape = predictor(frame, face)  # 获取关键点
            # 将关键点转换为坐标(x,y)的形式
            shape = np.array([[p.x, p.y] for p in shape.parts()])
            # 计算嘴部的高宽比
            mar = MAR(shape)
            # 计算 "最宽/脸颊宽"
            mjr = MJR(shape)
    
            rightEye = shape[36:42]  # 右眼,关键点索引从36到41(不包含42)
            leftEye = shape[42:48]  # 左眼,关键点索引从42到47(不包含48)
            rightEAR = eye_aspect_ratio(rightEye)  # 计算右眼纵横比
            leftEAR = eye_aspect_ratio(leftEye)  # 计算左眼纵横比
    
            ear = (rightEAR + leftEAR) / 2.0  # 均值处理
    
            result = "正常"  # 默认是正常表情
    
            # 打印出实际值,可以根据该值更改阈值
            print("mar", mar, "\tmjr", mjr, "\tear", ear)
    
            if mar > 0.5 and ear < 0.28:
                result = "大笑"
    
            elif mar > 0.5 and ear > 0.28:
                result = "愤怒"
    
            elif mjr > 0.45:
                result = "微笑"
            # 输出中文
            # frame = cv2AddChineseText(frame, result, (50, 100))
    
            # cv2.putText()#输出英文
    
            mouthHull = cv2.convexHull(shape[48:61])  # 嘴型构造凸包
    
            frame = cv2AddChineseText(frame, result, mouthHull[0, 0])  # 多人脸
    
            cv2.drawContours(frame, [mouthHull], -1, (0, 255, 0), 1)  # 画出凸包
    
        cv2.imshow("Frame", frame)
        if cv2.waitKey(1) == 27:
            break
    
    cv2.destroyAllWindows()
    cap.release()
相关推荐
VIP_CQCRE1 小时前
GPT Image 2.6 商品图换背景后悬浮?接触阴影、透明区域与反射验收
图像处理·人工智能·ai·电商
wuyk5552 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
泯泷2 小时前
别再傻傻地喂文件了,大厂都在偷偷给AI建这种“专属图书馆”
人工智能
oak隔壁找我2 小时前
一款运行在 DSH(DeepSeek Harness)中的类 Postman HTTP 接口调试插件
人工智能·程序员
高洁012 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit2 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
Csvn3 小时前
如果明天供应商涨价 3 倍?三层解耦,换模型只改一行配置(C05)
人工智能·aigc·agent
在所不辞兄4 小时前
为什么数字孪生驱动的产线标定需要在线更新机制,而不能一次标定后长期沿用?
人工智能·神经网络·其他·算法·机器学习
yz_aiks4 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
锋行天下4 小时前
langgraph 全栈项目(三)
前端·人工智能·后端