11.RV1126-ROCKX项目

s153352025-06-07 8:45

一.ROCKX的API

1.ROCKX的作用

ROCKX的AI组件可以快速搭建 AI的应用，这些应用可以是车牌识别、人脸识别、目标识别，人体骨骼识别等等。主要用于各种检测识别。例如下图：

2.ROCKX人脸识别的API

  • rockx_ret_t rockx_create(rockx_handle_t *handle, rockx_module_t m, void *config, size_t config_size);

函数解释： rockx_create 创建 rockx 的句柄 rockx_handle_t 。rockx_handle_t 也是管理整个 rockx 人脸检测、人脸识别的最重要结构体

第一个参数： rockx_handle_t 的结构体指针
**第二个参数：**rockx_module_t 的结构体，rockx_module_t 是一个枚举类型，设置当前 rockx 的处理类型。具体的如下：

ROCKX_MODULE_FACE_DETECTION：人脸检测模块

ROCKX_MODULE_FACE_LANDMARK_68：人脸 68 个特征点检测

ROCKX_MODULE_FACE_RECOGNIZE：人脸识别模块

ROCKX_MODULE_FACE_ANALYZE： 人脸分析模块

ROCKX_MODULE_OBJECT_DETECTION：目标检测模块

ROCKX_MODULE_POSE_BODY： 人体姿态检测模块，14 个关键点

ROCKX_MODULE_POSE_FINGER_21：手指检测模块，21 个关键点

ROCKX_MODULE_FACE_LANDMARK_5：人脸 5 个特征点检测

ROCKX_MODULE_HEAD_DETECTION： 人体头部检测模块

ROCKX_MODULE_CARPLATE_DETECTION： 车牌检测模块

ROCKX_MODULE_CARPLATE_ALIGN：车牌对齐模块

ROCKX_MODULE_CARPLATE_RECOG：车牌识别模块

ROCKX_MODULE_OBJECT_TRACK：物体追踪模块

ROCKX_MODULE_POSE_FINGER_3：手指检测模块， 支持 3 个关键点

ROCKX_MODULE_FACE_MASKS_DETECTION：人脸口罩检测，检测这个人是否戴口罩

ROCKX_MODULE_FACE_DETECTION_V2：人脸检测模块，Version2 版本

ROCKX_MODULE_BODY_MASK：人体身体遮挡检测，主要是检测当前人体是否有遮挡物

ROCKX_MODULE_POSE_BODY_V2：人体姿态检测，V2 是 Version2，能够检测 17 个关键点

ROCKX_MODULE_FACE_DETECTION_V3：人脸检测模块，V3 是 Version3，它只能检测 320 * 320 的人脸

ROCKX_MODULE_FACE_DETECTION_V3_LARGE：人脸检测模块加强版，V3 是 Version3，Large 能够检测 640 * 640 的人脸

ROCKX_MODULE_PERSON_DETECTION：行人检测模块，主要是检测当前图像中是否有行人

ROCKX_MODULE_FACE_LANDMARK_106：人脸关键点检测模型，总共能检测出 106 个关键点

ROCKX_MODULE_FACE_BEAUTY：人脸漂亮指数检测模型，主要是检测人的漂亮指数是多少

ROCKX_MODULE_FACE_SMILE_DETECT：人脸微笑检测模型，检测当前人是否微笑

ROCKX_MODULE_FACE_MASK_CLASSIFIER：人脸口罩分类检测模型，主要是检测当前口罩的类型是什么

ROCKX_MODULE_PERSON_DETECTION_V2：行人检测模型，V2 是 Version2，它只能检测 532 * 320 的行人图像

ROCKX_MODULE_PERSON_DETECTION_V3：行人检测模型，V3 是 Version3，它可以检测多尺寸的行人图像
第三个参数： rockx_config_t 结构体指针，主要是配置 rockx 的基本参数，它的创建是用rockx_add_config 来创建
**第四个参数：**config_size，默认是 0 就可以

  • rockx_ret_t rockx_add_config(rockx_config_t *config, const char *key, const char *value);

函数解释： 添加 rockx 的 config 配置
第一个参数： rockx_config_t 结构体指针，rockx_config_t 的创建是用 rockx_create_config 来分配，如：rockx_config_t *config =rockx_create_config();
第二个参数： config 的 key, 最常见的 KEY 是 ROCKX_CONFIG_DATA_PATH(ROCKX 的配置路径)
第三个参数： config 的 value, 跟 Key 一一对应, 比方说 Key 是 ROCKX_CONFIG_DATA_PATH, 那它的 value 就是对应的 rockx 的具体路径，如:/userdata/rockx_data/。
示例：

rockx_config_t *config = rockx_create_config();

rockx_add_config(config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data/");

  • rockx_ret_t rockx_face_detect(rockx_handle_t handle, rockx_image_t *in_img,rockx_object_array_t *face_array, rockx_async_callback *callback);

函数解释： 这个 API 主要是对人脸进行检测，得到人脸检测的位置信息
第一个参数： rockx_handle_t 的结构体指针
**第二个参数：**rockx_image_t 的结构体指针，这个是输入的图像，需要检测的图像，也可以是每一帧视频流。

第四个参数： config_size，默认是 0 就可以
**第三个参数：**rockx_object_array_t 的结构体指针，主要是输出检测结果，这个检测结果的结构体如下：

count： 检测的人脸数量
**rockx_object_t：**检测的具体信息，具体的成员变量如下：

id： object 的 id 号
**cls_idx：**object 的 index 索引

score： object 物体信任分数
**box：**rockx 的区域信息，rockx_rect_t 结构体。

left： 区域左边缘的 x 坐标，其实就是 x 轴数据
top: 区域顶的 y 坐标，其实就是 Y 轴数据
right： 区域右边缘的 x 坐标，其实就是 left + width
**bottom：**区域底的 Y 坐标，其实就是 top + height

  • rockx_ret_t rockx_face_recognize(rockx_handle_t handle, rockx_image_t *in_img, rockx_face_feature_t *out_feature);

**函数定义：**这个 API 主要是对人脸进行识别，并提取人脸数据

第一个参数： rockx_handle_t 的结构体指针
第二个参数： rockx_image_t 的结构体指针，这个是输入的图像，需要检测的图像，也可以是每一帧视频流。
**第三个参数：**rockx_face_feature_t 的结构体指针，rockx_face_feature_t 结构体主要是存储人脸的特征值和长度，我们来看看这个结构体的组成

version： 人脸识别版本
len： 人脸识别的长度
**feature[512]：**人脸识别的数据，512 的 float 数组，这个值是存储一个二进制数据

  • rockx_ret_t rockx_face_feature_similarity(rockx_face_feature_t *in_feature1, rockx_face_feature_t *in_feature2, float *out_similarity);

函数的定义： 这个 API 主要是对比两个人脸，并计算两个人脸的对比数值
第一个参数： in_feature1，需要对比的人脸特征值 1
第一个参数： in_feature2，需要对比的人脸特征值 2
**第三个参数：**in_feature1 和 in_feature2 对比的相似度值，一般小于 1.0 可以判断为同一个人

  • rockx_ret_t rockx_face_align(rockx_handle_t handle, rockx_image_t *in_img, rockx_rect_t *in_box, rockx_face_landmark_t *in_landmark, rockx_image_t *out_img);

函数的定义： 这个 API 主要是对目前检测的人脸进行对齐，这个对齐一般是用 face_landmark 检测人脸关键点进行对齐
第一个参数： rockx_handle_t 的结构体
第二个参数： in_img 输入的图像
**第三个参数：**in_box 是人脸检测的区域，用矩形来表示，我们来看看 rockx_rect_t 的结构体成员

left： 表示矩形左边缘的 X 坐标。
top： 表示矩形顶部的 y 坐标
right： 表示矩形右边缘的 x 坐标
**bottom：**表示矩形底部的 y 坐标。

**第四个参数：**rockx_face_landmark_t 的结构体指针，主要是检测人脸关键点，我们来看看这个结构体的成员变量

image_width： 图像的长度
image_height： 图像的高度
face_box： 人脸的检测区域，用矩形表示
landmarks_count： 关键点个数
**landmarks[128]：**具体的人脸关键点，rockx_point_t 来表示，它本质上就是 x,y 的点

**score：**每个关键点的分数

  • rockx_ret_t rockx_face_filter(rockx_handle_t handle, rockx_image_t *in_img, rockx_rect_t *in_box, int *is_false_face);

函数的定义： 这个 API 主要是过滤人脸，过滤图像中不符合人脸的图像
第一个参数： rockx_handle_t 的结构体指针
第二个参数： in_img 是输入的图像
第三个参数： in_box 人脸检测区域，是一个矩形
**第四个参数：**is_falas_face 判断当前检测的图像是否是人脸，是人脸就等于 true，否则 false

  • rockx_ret_t rockx_face_masks_detect(rockx_handle_t handle, rockx_image_t *in_img, rockx_face_mask_array_t *face_mask_array,rockx_async_callback *callback);

第一个参数： rockx_handle_t 的结构体指针
第二个参数： in_img 是输入的图像
**第三个参数：**face_mask_array 存放口罩的数据，我们来看看这个结构体的数据

count: 口罩的数量
**face_masks:**rockx_face_mask_t，具体的口罩参数，如下图

face_box ： 是口罩的区域，用矩形表示
mask_score： 口罩的分数
**hasMask：**是否有戴口罩

二. ROCKX图片检测人脸并画框

1.图片检测人脸并画框的流程：

这里有个重点就是如何知道脸的位置：由rockx_face_detect函数检测并获取位置传给opencv，那位置就是width:right-left,high:bottom-top。然后opencv画框。

2.代码实现

复制代码 
/****************************************************************************
 *
 *    Copyright (c) 2017 - 2019 by Rockchip Corp.  All rights reserved.
 *
 *    The material in this file is confidential and contains trade secrets
 *    of Rockchip Corporation. This is proprietary information owned by
 *    Rockchip Corporation. No part of this work may be disclosed,
 *    reproduced, copied, transmitted, or used in any way for any purpose,
 *    without the express written permission of Rockchip Corporation.
 *
 *****************************************************************************/
#include <assert.h>
#include <cstddef>
#include <fcntl.h>
#include <getopt.h>
#include <opencv2/imgproc.hpp>
#include <opencv2/imgproc/imgproc_c.h>
#include <pthread.h>
#include <signal.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>

// #include "common/sample_common.h"
#include "rkmedia_api.h"
#include "rknn_rockx_include/rockx_type.h"
#include "rockx.h"
#include <opencv2/core.hpp>
// #include <opencv2/imgoroc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>
#include <stdio.h>
#include <memory.h>
#include <sys/time.h>
#include "rknn_rockx_include/rockx_type.h"
#include "rockx.h"
#include <opencv2/opencv.hpp>
#include <opencv2/imgcodecs.hpp>
#include "rknn_rockx_include/utils/rockx_config_util.h"
using namespace cv;

int main(int argc, char **argv)
{
    
    const char *image_path = argv[1]; //输入图片路径
    //配置rockx的config
    rockx_config_t * face_detect_config = rockx_create_config();//创建配置
    rockx_add_config(face_detect_config,ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data");//设置配置

    //创建rockx的句柄
    rockx_ret_t  face_ret;
    rockx_handle_t face_detect_handle ;
    rockx_module_t module = ROCKX_MODULE_FACE_DETECTION_V3;
    face_ret = rockx_create(&face_detect_handle,module,face_detect_config,0);//创建A模型
    if(face_ret != ROCKX_RET_SUCCESS){
        printf("create face detect handle failed.....\n");
        return -1;
    }

    //读取图片
    rockx_image_t image;
    rockx_image_read(image_path,&image,1);//读取图片
    
    printf("3");

    //检测人脸
    rockx_object_array_t face_array;
    face_ret = rockx_face_detect(face_detect_handle,&image,&face_array,nullptr);//检测人脸
    if(face_ret != ROCKX_RET_SUCCESS){
        printf("face detect failed.....\n");
        return -1;
    }

    //循环人脸数量并画框
    Mat face_mat = Mat(image.height,image.width,CV_8UC3,image.data);//将图片转为Mat
    for(int i = 0;i < face_array.count;i++){
        int left = face_array.object[i].box.left;
        int top = face_array.object[i].box.top;
        int width = face_array.object[i].box.right - face_array.object[i].box.left;
        int height = face_array.object[i].box.bottom - face_array.object[i].box.top;
        Rect boundingRect(left,top,width,height);//定义矩形框
        rectangle(face_mat,boundingRect,Scalar(0,0,255),1);//画框
    }

    //显示图片
    imwrite("face_detect.jpg",face_mat);
    rockx_destroy(face_detect_handle);

    return 0;
}

3.效果图（V2模型会出现多个框，所以改V3模型了）

三.ROCKX视频检测人脸并画框

1.视频检测人脸并画框的流程：

首先要初始化模块包括 VI 模块、VENC 模块、并启动 VI 模块采集视频流、rockx 模块的初始化。
初始化模块后，就要分两个线程处理了。
主线程是负责 rockx 对 VI 视频流的处理，并用 OPENCV 对人脸进行画框，最后把处理后的 VI 数据传输到 VENC 模块里面。
第二个线程 rockx_face_detect_venc_thread，从 VENC 模块获取到 H264 的编码码流数据，并把 VENC 码流数据保存。

2.代码实现

复制代码 
/****************************************************************************
 *
 *    Copyright (c) 2017 - 2019 by Rockchip Corp.  All rights reserved.
 *
 *    The material in this file is confidential and contains trade secrets
 *    of Rockchip Corporation. This is proprietary information owned by
 *    Rockchip Corporation. No part of this work may be disclosed,
 *    reproduced, copied, transmitted, or used in any way for any purpose,
 *    without the express written permission of Rockchip Corporation.
 *
 *****************************************************************************/
#include <assert.h>
#include <cstddef>
#include <fcntl.h>
#include <getopt.h>
#include <opencv2/imgproc.hpp>
#include <opencv2/imgproc/imgproc_c.h>
#include <pthread.h>
#include <signal.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>

// #include "common/sample_common.h"
#include "rkmedia_api.h"
#include "rknn_rockx_include/rockx_type.h"
#include "rockx.h"
#include <opencv2/core.hpp>
// #include <opencv2/imgoroc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>

#define CAMERA_PATH "rkispp_scale0"
#define CAMERA_ID 0
#define CAMERA_CHN 0
#define VENC_CHN 0
#define WIDTH 1920
#define HEIGHT 1080
using namespace cv;

void *rockx_face_detect_venc_thread(void *args)
{
    pthread_detach(pthread_self());
    FILE *face_detect_h264 = fopen("face_detect_venc.h264", "w+");

    MEDIA_BUFFER mb = NULL;

    while (1)
    {
        mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);
        if (!mb)
        {
            printf("Get Rockx_Venc Data break...\n");
        }

        fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, face_detect_h264);
        RK_MPI_MB_ReleaseBuffer(mb);
    }

    return NULL;
}

int main(int argc, char **argv)
{

    int ret;
    VI_CHN_ATTR_S vi_chn_attr;
    vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
    vi_chn_attr.u32Width = 1920;                  // Width
    vi_chn_attr.u32Height = 1080;                 // Height
    vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
    vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
    vi_chn_attr.u32BufCnt = 3;                    // Cnt
    vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
    ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
    if (ret)
    {
        printf("Vi Set Attr Failed.....\n");
        return 0;
    }
    else
    {
        printf("Vi Set Attr Success.....\n");
    }

    ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
    if (ret)
    {
        printf("Vi Enable Attr Failed.....\n");
        return 0;
    }
    else
    {
        printf("Vi Enable Attr Success.....\n");
    }

    VENC_CHN_ATTR_S venc_chn_attr;
    memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
    venc_chn_attr.stVencAttr.u32PicWidth = 1920;
    venc_chn_attr.stVencAttr.u32PicHeight = 1080;
    venc_chn_attr.stVencAttr.u32VirWidth = 1920;
    venc_chn_attr.stVencAttr.u32VirHeight = 1080;
    venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
    venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
    venc_chn_attr.stVencAttr.u32Profile = 66;
    venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
    venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
    venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3;
    venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
    venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
    venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
    venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
    ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);
    if (ret)
    {
        printf("ERROR: Create venc failed!\n");
        exit(0);
    }

    ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
    if (ret)
    {
        printf("RK_MPI_VI_StartStream Failed.....\n");
        return 0;
    }
    else
    {
        printf("RK_MPI_VI_StartStream Success.....\n");
    }

    pthread_t pid;
    pthread_create(&pid, NULL, rockx_face_detect_venc_thread, NULL);

    rockx_config_t *face_detect_config = rockx_create_config();
    rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data");

    rockx_handle_t face_detect_handle;
    rockx_ret_t face_detect_ret;

    rockx_module_t face_detect_module = ROCKX_MODULE_FACE_DETECTION_V3;
    face_detect_ret = rockx_create(&face_detect_handle, face_detect_module, face_detect_config, 0);
    if (face_detect_ret != ROCKX_RET_SUCCESS)
    {
        printf("rockx_create face_detect failed...\n");
        return -1;
    }

    rockx_image_t rv1126_rockx_image;//图像数据
    rv1126_rockx_image.width = WIDTH;//图像宽度
    rv1126_rockx_image.height = HEIGHT;//图像高度
    rv1126_rockx_image.pixel_format = ROCKX_PIXEL_FORMAT_YUV420SP_NV12;//图像格式

    MEDIA_BUFFER mb;

    while (1)
    {

        mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);
        if (!mb)
        {
            printf("Get Vi Stream break....\n");
            break;
        }

        rv1126_rockx_image.data = (uint8_t *)RK_MPI_MB_GetPtr(mb);
        rv1126_rockx_image.size = RK_MPI_MB_GetSize(mb);

        Mat rv1126_image_mat = Mat(HEIGHT, WIDTH, CV_8UC1, rv1126_rockx_image.data);

        rockx_object_array_t face_detect_array;
        face_detect_ret = rockx_face_detect(face_detect_handle, &rv1126_rockx_image, &face_detect_array, NULL);
        if (face_detect_ret != ROCKX_RET_SUCCESS)
        {
            printf("face_detect failed....\n");
        }

        for (int i = 0; i < face_detect_array.count; i++)
        {
            int left = face_detect_array.object[i].box.left;
            int top = face_detect_array.object[i].box.top;
            int w = face_detect_array.object[i].box.right - face_detect_array.object[i].box.left;
            int h = face_detect_array.object[i].box.bottom - face_detect_array.object[i].box.top;
            Rect boundingRect(left, top, w, h);
            rectangle(rv1126_image_mat, boundingRect, Scalar(255, 255, 0));
        }
        RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);
        RK_MPI_MB_ReleaseBuffer(mb);
    }

    RK_MPI_VENC_DestroyChn(VENC_CHN);
    RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN);

    return 0;
}

3.效果图：不给看啦！！！ 已验证，没问题

相关推荐
hanniuniu1310 分钟前
网络安全厂商F5推出AI Gateway，化解大模型应用风险
人工智能·web安全·gateway
Iamccc13_21 分钟前
智能仓储的未来：自动化、AI与数据分析如何重塑物流中心
人工智能·数据分析·自动化
蹦蹦跳跳真可爱5891 小时前
Python----目标检测（使用YOLO 模型进行线程安全推理和流媒体源）
人工智能·python·yolo·目标检测·目标跟踪
思尔芯S2C1 小时前
思尔芯携手Andes晶心科技，加速先进RISC-V 芯片开发
人工智能·科技·fpga开发·risc-v·debugging·prototyping·soc validation
风铃儿~1 小时前
Spring AI 入门：Java 开发者的生成式 AI 实践之路
java·人工智能·spring
晓枫-迷麟1 小时前
【使用conda】安装pytorch
人工智能·pytorch·conda
爱补鱼的猫猫1 小时前
Pytorch知识点2
人工智能·pytorch·python
deephub1 小时前
提升模型泛化能力：PyTorch的L1、L2、ElasticNet正则化技术深度解析与代码实现
人工智能·pytorch·python·深度学习·机器学习·正则化
小于不是小鱼呀2 小时前
手撕 K-Means
人工智能·算法·机器学习
热门推荐
01基于STM32的智能电池管理系统02KGG转MP3工具|非KGM文件|解密音频03YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】04【无人机】无人机通信模块，无人机图数传模块的介绍，数传，图传，图传数传一体电台，05从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑06【SpeedAI科研小助手】2分钟极速解决知网维普重复率、AIGC率过高，一键全文降！文件格式不变，公式都保留的！07VMware虚拟机安装Win7专业版保姆级教程（附镜像包）08DeepSeek各版本说明与优缺点分析09组基轨迹建模 GBTM的介绍与实现（Stata 或 R）10海康Visionmaster-常见问题排查方法-启动阶段