瑞芯微(EASY EAI)RV1126B 人脸98关键点算法识别

1. 人脸关键点简介

人脸关键点定位也称为人脸关键点定检测或者人脸对齐，是指给定人脸图像，定位出人脸面部的要害区域位置，包括眉毛、眼睛、鼻子、嘴巴、脸部概括等和人脸检测类似，由于存在姿势和遮挡等因素的影响，人脸关键点定位也是一个赋有挑战性的任务工作。

人脸关键点的检测有许多重要的应用场景。

l 人脸姿态对齐：人脸识别等算法都需要对人脸的姿态进行对齐从而提高模型的精度。

l 人脸美颜与编辑：基于关键点可以精确分析脸型、眼睛形状、鼻子形状等，从而对人脸的特定位置进行修饰加工，实现人脸特效美颜，贴片等娱乐功能。

l 人脸表情分析与嘴型识别：基于关键点可以对人的面部表情进行分析，从而用于互动娱乐，行为预测等场景。

本人脸98关键点算法的，关键点位置如下图所示：

算法效果在数据集的表现：

基于EASY-EAI-Nano-TB硬件主板的运行效率：

2. 快速上手

2.1 开发环境准备

如果您初次阅读此文档 ，请阅读《入门指南/开发环境准备/Easy-Eai编译环境准备与更新》，并按照其相关的操作，进行编译环境的部署。

在PC端Ubuntu系统中执行run脚本，进入EASY-EAI编译环境，具体如下所示。

复制代码

cd ~/develop_environment ./run.sh 2204

2.2 源码下载

在EASY-EAI编译环境下创建存放源码仓库的管理目录：

复制代码

cd /opt mkdir EASY-EAI-Toolkit cd EASY-EAI-Toolkit

通过git工具，在管理目录内克隆远程仓库

复制代码

git clone https://github.com/EASY-EAI/EASY-EAI-Toolkit-1126B.git

注：

* 此处可能会因网络原因造成卡顿，请耐心等待。

* 如果实在要在gitHub网页上下载，也要把整个仓库下载下来，不能单独下载本实例对应的目录。

2.3 模型部署

要完成算法Demo的执行，需要先下载人脸检测算法模型。

百度网盘链接为：https://pan.baidu.com/s/1JxDZ5VMnlHiGZLKfvIZ-yg?pwd=1234(提取码：1234)。

也要下载人脸98关键点算法模型。

百度网盘链接为:https://pan.baidu.com/s/1pDabIMlllZAWZOejKOKYUQ?pwd=1234 (提取码：1234)。

然后需要把下载的人脸检测算法模型和人脸关键点算法模型复制粘贴到Release/目录：

2.4 例程编译

进入到对应的例程目录执行编译操作，具体命令如下所示：

复制代码

cd EASY-EAI-Toolkit-1126B/Demos/algorithm-face_landmark98/ 
./build.sh cpres

注：

* 由于依赖库部署在板卡上，因此交叉编译过程中必须保持/mnt挂载。

* 若build.sh脚本带有cpres参数，则会把Release/目录下的所有资源都拷贝到开发板上。

2.5 例程运行及效果

通过串口调试或ssh调试，进入板卡后台，定位到例程部署的位置，如下所示：

复制代码

cd /userdata/Demo/algorithm-face_landmark98/

运行例程命令如下所示：

复制代码

sudo ./test-face-landmark98 test.jpg

在EASY-EAI编译环境可以取回测试图片:

复制代码

cp /mnt/userdata/Demo/algorithm-face_landmark98/result.jpg .

结果图片如下所示：

API的详细说明，以及API的调用（本例程源码），详细信息见下方说明。

3. 人脸检测API说明

3.1 引用方式

为方便客户在本地工程中直接调用我们的EASY EAI api库，此处列出工程中需要链接的库以及头文件等，方便用户直接添加。

3.2 人脸检测初始化函数

设置人脸检测初始化函数原型如下所示。

复制代码

int face_detect_init(rknn_context *ctx, const char *path)

具体介绍如下所示。

3.3 人脸检测运行函数

设face_detect_run原型如下所示。

复制代码

int face_detect_run(rknn_context ctx, cv::Mat &input_image, std::vector<det> &result)

具体介绍如下所示。

3.4 人脸检测释放函数

人脸检测释放函数原型如下所示。

复制代码

int face_detect_release(rknn_context ctx)

具体介绍如下所示。

4. 人脸98个关键点API说明

4.1 引用方式

为方便客户在本地工程中直接调用我们的EASY EAI api库，此处列出工程中需要链接的库以及头文件等，方便用户直接添加。

4.2 人脸98个关键点初始化函数

设置人脸检测初始化函数原型如下所示。

复制代码

int face_landmark98_init(rknn_face_landmark_context_t *p_face_landmark, const char *p_model_path)

具体介绍如下所示。

4.3 人脸98个关键点运行函数

设face_landmark98_run原型如下所示。

复制代码

std::vector<cv::Point> face_landmark98_run(cv::Mat image, rknn_face_landmark_context_t *p_face_landmark)

具体介绍如下所示。

4.4 人脸98个关键点释放函数

人脸98个关键点释放函数原型如下所示。

复制代码

int face_landmark98_release(rknn_face_landmark_context_t* p_face_landmark)

具体介绍如下所示。

5. 人脸98个关键点算法例程

例程目录为Toolkit-C-Demo/algorithm-face_landmark98/test-face-landmark98.cpp，操作流程如下。

参考例程如下所示。

复制代码

#include <stdio.h>
#include <stdint.h>
#include <stdlib.h>
#include <fstream>
#include <iostream>
#include <vector>
#include <fstream>
#include <atomic>
#include <queue>
#include <thread>
#include <mutex>
#include <chrono>
#include <sys/time.h>
#include <sys/stat.h>
#include <dirent.h>
#include <unistd.h>

#include <opencv2/opencv.hpp>

#include <unistd.h>
#include <sys/syscall.h>
#include "face_detect.h"
#include "face_alignment.h"
#include "face_landmark98.h"

using namespace std;
using namespace cv;

int main(int argc, char **argv)
{

	if( argc != 2)
	{
		printf("./test-face-landmark98 xxx.jpg \n");
		return -1;
	}

	struct timeval start;
	struct timeval end;
	float time_use=0;

	rknn_context detect_ctx, landmark_ctx;
	std::vector<det> result;
	int ret;

	cv::Mat src;
	src = cv::imread(argv[1], 1);

	face_detect_init(&detect_ctx, "./face_detect.model");

	/* 人脸关键点定位初始化 */
	ret = face_landmark98_init(&landmark_ctx, "./face_landmark98.model");
	if( ret < 0)
	{
		printf("face_mask_judgement_init fail! ret=%d\n", ret);
		return -1;
	}

	face_detect_run(detect_ctx, src, result);

	printf("face num:%d\n",result.size());

	for (int i = 0; i < (int)result.size(); i++)
	{
		int x = (int)(result[i].box.x);
		int y = (int)(result[i].box.y);
		int w = (int)(result[i].box.width);
		int h = (int)(result[i].box.height);
		int max = (w > h)?w:h;

		// 判断图像裁剪是否越界
		if( ((x +max) > src.cols) || ((y +max) > src.rows) )
		{
			continue;
		}
		

		cv::Mat roi_img, reize_img;
		roi_img = src(cv::Rect(x, y, max,max));
        roi_img = roi_img.clone();

		resize(roi_img, reize_img, Size(256,256), 0, 0, INTER_AREA);
		float ratio;
		ratio = (float)max/256;

		gettimeofday(&start,NULL); 

		std::vector<KeyPointType> keyPoints;
		face_landmark98_run(landmark_ctx, &reize_img, &keyPoints);
		
		gettimeofday(&end,NULL);
		time_use = (end.tv_sec-start.tv_sec)*1000000+(end.tv_usec-start.tv_usec);//微秒
		printf("time_use is %f\n",time_use/1000);

		for(int n = 0; n < 98; n++)
		{
			//cout<<"keyPoints "<< n <<" :"<< keyPoints[n].point.x*ratio +x <<","<< keyPoints[n].point.y*ratio +y <<endl;
			cv::circle(src, Point( keyPoints[n].point.x*ratio+x, keyPoints[n].point.y*ratio+y), 2, cv::Scalar(0, 255, 0), 2);
		}

	}

	cv::imwrite("result.jpg", src);

	/* 人脸检测释放 */
	face_detect_release(detect_ctx);

	/* 人脸关键点定位释放 */
	face_landmark98_release(landmark_ctx);
	return 0;
}