deepface:实现人脸的识别和分析

deepface介绍

deepface能够实现的功能

人脸检测:deepface 可以在图像中检测出人脸的位置,为后续的人脸识别任务提供基础。

人脸对齐:为了提高识别准确性,deepface 会将检测到的人脸进行对齐操作,消除姿态、光照和表情等因素对识别结果的影响。

特征提取:deepface 使用卷积神经网络(CNN)对齐后的人脸图像进行特征提取,将人脸转换为高维特征向量。

人脸识别:通过比较特征向量之间的相似度,deepface 可以识别出图像中的人脸是否属于同一个人。

人脸验证:deepface 可以用于人脸验证任务,即判断给定的两张人脸图像是否属于同一个人。

人脸搜索:deepface 可以在大型人脸数据库中搜索特定人物,通过比较特征向量找到与目标人物最相似的人脸。

人脸跟踪:deepface 可以在视频序列中跟踪人脸,实现实时的人脸识别和分析。

人脸年龄分析:deepface 可以估计图像中的人脸年纪。

人脸表情识别:deepface 可以估计图像中的人脸表情。

人种识别:deepface 可以识别出图像中的人脸属于什么人种。

性别分析:deepface 可以识别出图像中的人脸是什么性别。

deepface功能的具体实现

1.人脸识别:识别两个人人脸是否属于同一个人

api:

各个参数的含义如下:

img1_path 和 img2_path**:就是两张图片的路径,当然除了路径,还可以是 numpy 数组或 base64 字符串。verify 函数会将图像上的人脸部分表示为向量,然后计算相似度。如果其中一张图片出现了多张脸,比如 img1_path 里面有一张脸,但 img2_path 里面有三张脸,那么每一张脸都会进行比对,找到最相似的那一个。**

model_name**:deepface 已经集成了大量顶尖的人脸模型用于训练,比如:**

"VGG-Face"、"OpenFace"、"Facenet"、"Facenet512"、"DeepFace"、"DeepID" "Dlib"、"ArcFace"、"SFace"、"Emotion"、"Age"、"Gender"、"Race"

喜欢哪个就用哪个,但是模型需要下载,如果 deepface 检测到当前机器上没有指定的模型,那么会自动下载。所以当前第一次执行上面代码的时候,会下载 VGG-Face 模型(大小有好几百 M)。关于这些模型的区别,有兴趣可以自己了解一下,我们直接使用默认的即可。

detector_backend**:检测器后端,负责提供人脸识别算法,因为 deepface 所使用的算法是由其它模块提供的,默认是 opencv。但除了 opencv 之外,还有其它选择。**

"opencv", "retinaface", "mtcnn", "ssd", "dlib", "mediapipe"

这些人脸检测器之间的区别,还是很重要的,我们来解释一下。

  • "opencv":最轻量级的人脸检测器,使用不基于深度学习技术的 haar-cascade 算法,因此速度很快,但准确率较低。而为了使 OpenCV 正常工作,需要正面图像,如果脸侧了一下或者局部发生遮挡,准确率就会受到影响。此外也不擅长对眼睛的检测,容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
  • "dlib":该检测器在后台使用 hog 算法,与 OpenCV 类似,它也不是基于深度学习的,但它的检测和对齐分数相对较高。
  • "ssd":单次检测器,它是一种流行的基于深度学习的检测器,但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点,并且依赖于 OpenCV 的眼睛检测模块来对齐,因此尽管其检测性能很高,但对准分数仅为平均水平。
  • "mtcnn":基于深度学习的人脸检测器,并带有面部特征点,所以它的检测和对齐得分都很高但是,但速度比 OpenCV,SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法,能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好,并且模型规模相对于 RetinaFace 的较小。
  • "retinaface":一种基于卷积神经网络的人脸检测算法,具有高精度的特点,被公认为是最先进的人脸检测算法,但需要很高的计算能力。相比 MTCNN,检测小尺寸人脸的效果更好。

因此如果你希望结果更加精确,那么使用 RetinaFace 或 MTCNN;如果希望检测速度更快,比如清洗一部分没有人脸的照片,那么可以使用 OpenCV 或 SSD。

  • "opencv":最轻量级的人脸检测器,使用不基于深度学习技术的 haar-cascade 算法,因此速度很快,但准确率较低。而为了使 OpenCV 正常工作,需要正面图像,如果脸侧了一下或者局部发生遮挡,准确率就会受到影响。此外也不擅长对眼睛的检测,容易导致对齐问题。目前 DeepFace 使用的默认检测器就是 OpenCV。
  • "dlib":该检测器在后台使用 hog 算法,与 OpenCV 类似,它也不是基于深度学习的,但它的检测和对齐分数相对较高。
  • "ssd":单次检测器,它是一种流行的基于深度学习的检测器,但性能可与 OpenCV 相媲美。只是 SSD 不支持面部特征点,并且依赖于 OpenCV 的眼睛检测模块来对齐,因此尽管其检测性能很高,但对准分数仅为平均水平。
  • "mtcnn":基于深度学习的人脸检测器,并带有面部特征点,所以它的检测和对齐得分都很高但是,但速度比 OpenCV,SSD 和 Dlib 慢。另外 MTCNN 是一种多任务级联卷积神经网络的人脸检测算法,能够同时实现人脸检测、关键点定位和人脸对齐等功能。其对于大尺寸人脸的检测效果较好,并且模型规模相对于 RetinaFace 的较小。
  • "retinaface":一种基于卷积神经网络的人脸检测算法,具有高精度的特点,被公认为是最先进的人脸检测算法,但需要很高的计算能力。相比 MTCNN,检测小尺寸人脸的效果更好。

因此如果你希望结果更加精确,那么使用 RetinaFace 或 MTCNN;如果希望检测速度更快,比如清洗一部分没有人脸的照片,那么可以使用 OpenCV 或 SSD。

distance_metric**:距离(面部嵌入)度量方法,可以是 cosine、euclidean 或 euclidean_l2。**

enforce_detection**:如果没有检测到人脸时,是否引发异常,可以将其设置为 False。**

align**:是否执行面部对齐。(使用面部对齐,**消除姿态、光照和表情等因素对识别结果的影响。 )

normalization**:用于预处理图像的归一化技术。**

代码实例:

python 复制代码
results = DeepFace.verify(src_file_path_name,make_file_path_name,model_name="retinaface", detector_backend="retinaface",enforce_detection=False,align=True)
  • results["verified"] 是一个布尔值,如果相似度超过某个阈值则返回True,表示系统认为这两张图片是同一个人。

  • results["distance"] 是一个数值,通常来说,这个值越小,表明两张图片的相似度越高。
    采用不同模型和不同的后端算法阈值的大小均有所不同,

  • 对于 FaceNet 模型,阈值可能设置在 0.40 左右。

  • 对于 VGG-Face 模型,阈值可能在 0.60 或更高。

results["distance"]的值越小,代表两个人脸是同一个值

2.人脸识别:识别图片中存在多少个人脸

python 复制代码
  results = DeepFace.extract_faces(
        pic,
        detector_backend="retinaface",
        enforce_detection=False)
    #print("result:", results)
    for result in results:
        face_area = result["facial_area"]
        cv2.rectangle(pic, (face_area['x'], face_area['y']),
                      (face_area['x'] + face_area['w'], face_area['y'] + face_area['h']), (255, 0, 0), 3)
    #判断双头结果
    if len(results)>1:
        cv2.imwrite(output_path_name, pic)
with concurrent.futures.ThreadPoolExecutor(max_workers=4) as excutor:
    futures = []
    for imgname in tqdm(imgs_list):
        #遍历图片排除头的图像
        if "_head_" in imgname:
            continue
        #将图片全部加入任务
        path_filename = os.path.join(origin_path,imgname)
        task = excutor.submit(find_face,path_filename)
        futures.append(task)
    count = len(futures)
    print("共记录{}个任务".format(count))
    prad = tqdm(total=count,position=0)
    for future in concurrent.futures.as_completed(futures):
        prad.update(1)
        future.result()

应用:此种情况一般应用于检测图片中是否出现了多头的情况,这种情况deepface的准确率达到了99%

3.人脸分析:使用deepface分析人的人种,人的性别,人的心情

python 复制代码
# 使用deepface对人脸进行分析,作为评判生图合理性的标准之一
import time
from openpyxl.drawing.image import Image
from deepface import DeepFace
import cv2
import openpyxl
import os
from tqdm import tqdm
py_path = os.path.dirname(__file__)
imgs_path = "./inputDIc"
img_dirs = os.listdir(imgs_path)
OUTPUT_FILE =os.path.join(py_path,"analyze_{}.xlsx".format(time.strftime("%Y-%m-%d %H: %M: %S"),time.localtime()))
path_filename = "./Newoutputimages_2/0_head_pic_Anime_0_balanced.png"
wb = openpyxl.Workbook()
ws = wb.active
ws.append(["img","angry","disguest","fear","happy","sad","surprise","neutral","dominant_emotion","age","gender-women","gender-man","dominant_race"])
# 进行遍历
print(img_dirs)
print("共计{}张图片".format(len(img_dirs)))
for img_name in tqdm(img_dirs):
    path_filename = os.path.join(imgs_path,img_name)
    try:
        results = DeepFace.analyze(path_filename, detector_backend="retinaface", enforce_detection=False, align=True)
    except Exception as e:
        print("error:",e)
        ws.append([path_filename])
        continue
    result = results[0]
    ws.append([path_filename, result["emotion"]["angry"], result["emotion"]["disgust"], result["emotion"]["fear"],
               result["emotion"]["happy"], result["emotion"]["sad"], result["emotion"]["surprise"],
               result["emotion"]["neutral"], result["dominant_emotion"], result["age"], result["gender"]["Man"],
               result["gender"]["Woman"], result["dominant_gender"], result["dominant_race"]])

# print(results)
# print(len(results))
# result = results[0]
#加载图片
img = Image(path_filename)
#将分析结果写入excel表格中
wb.save(OUTPUT_FILE)
相关推荐
Debroon7 分钟前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~14 分钟前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习
AI小杨15 分钟前
【车道线检测】一、传统车道线检测:基于霍夫变换的车道线检测史诗级详细教程
人工智能·opencv·计算机视觉·霍夫变换·车道线检测
晨曦_子画19 分钟前
编程语言之战:AI 之后的 Kotlin 与 Java
android·java·开发语言·人工智能·kotlin
道可云21 分钟前
道可云人工智能&元宇宙每日资讯|2024国际虚拟现实创新大会将在青岛举办
大数据·人工智能·3d·机器人·ar·vr
人工智能培训咨询叶梓30 分钟前
探索开放资源上指令微调语言模型的现状
人工智能·语言模型·自然语言处理·性能优化·调优·大模型微调·指令微调
zzZ_CMing30 分钟前
大语言模型训练的全过程:预训练、微调、RLHF
人工智能·自然语言处理·aigc
newxtc32 分钟前
【旷视科技-注册/登录安全分析报告】
人工智能·科技·安全·ddddocr
成都古河云33 分钟前
智慧场馆:安全、节能与智能化管理的未来
大数据·运维·人工智能·安全·智慧城市
UCloud_TShare35 分钟前
浅谈语言模型推理框架 vLLM 0.6.0性能优化
人工智能