Linux49:rockx读取单张图片并检测图片内人脸的矩形

rockx人脸检画框测大体流程

本次代码主要实现如何通过rockx的框架进行人脸的检测,并把人脸画出来。具体的流程如下:

总共分成四步,第一步是初始化rockx人脸检测框架、第二步是读取人脸图片、第三步是调用rockx的人脸检测API对其进行人脸检测、第四步循环人脸数量并使用Opencv进行画框、第五步保存图像.

1.初始化 rockx 人脸检测框架

上图是初始化步骤,首先要使用rockx_create_config 分配rockx_config_t结构体,并使用rockx_add_config 把对应的rockx路径配置进去,在我们的板子里面在**/userdata/rockx_data** 里面,并使用rockx_create创建rockx_handle_t句柄。

2.读取人脸图片

读取对应的人脸图片,在rockx里面用rockx_image_read来读取对应的人脸图片。并把人脸的特征数据传入到rockx_image_t结构体里面。

3.调用 rockx 的人脸检测 API 对其进行人脸检测

调用rockx_face_detect 对图片进行人脸检测,这里的输入的是input_image ,这个是由rockx_image_read 读取的图片数据,输出的数据是rockx_object_array_t 后面的数据则都是通过rockx_object_array_t来处理。

4.循环人脸数量并使用 Opencv 进行画框

循环人脸数量,人脸数量是face_array.count。然后获取人脸的坐标属性,这里的坐标属性就是left、top、w、h,并用OPENCV把input_image转换成Mat矩阵( Mat tmp_img = Mat(input_image.height, input_image.width, CV_8UC3, input_image.data)),转换完成之后再使用rectangle把坐标转换成矩形。

5.保存人脸检测的图片

最后用imwrite保存人脸检测后的图片,并使用rockx_destroy销毁rockx_handle_t

最后的效果:

可以看到周董的脸上就已经出现矩形检测的框框。

cs 复制代码
/****************************************************************************
 *
 *    Copyright (c) 2017 - 2019 by Rockchip Corp.  All rights reserved.
 *
 *    The material in this file is confidential and contains trade secrets
 *    of Rockchip Corporation. This is proprietary information owned by
 *    Rockchip Corporation. No part of this work may be disclosed,
 *    reproduced, copied, transmitted, or used in any way for any purpose,
 *    without the express written permission of Rockchip Corporation.
 *
 *****************************************************************************/
#include <stdio.h>
#include <memory.h>
#include <sys/time.h>
#include "rknn_rockx_include/rockx_type.h"
#include "rknn_rockx_include/utils/rockx_config_util.h"
#include "rknn_rockx_include/utils/rockx_image_util.h"
#include "rockx.h"
#include <opencv2/opencv.hpp>
#include <opencv2/imgcodecs.hpp>

using namespace cv;

int main(int argc, char **argv)
{
    const char * img_path = argv[1];
    rockx_config_t * face_detect_config = rockx_create_config();
    rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data/");

    rockx_handle_t face_detect_handle;
    rockx_ret_t rockx_ret;

    rockx_module_t face_rockx_module = ROCKX_MODULE_FACE_DETECTION_V2;
    rockx_ret = rockx_create(&face_detect_handle, face_rockx_module, face_detect_config, 0);
    if(rockx_ret != ROCKX_RET_SUCCESS)
    {
        printf("rockx_create failed...\n");
        return -1;
    }

    rockx_image_t face_rockx_image;
    rockx_image_read(img_path, &face_rockx_image, 1);

    rockx_object_array_t face_array;
    rockx_ret = rockx_face_detect(face_detect_handle, &face_rockx_image, &face_array, nullptr);
    if(rockx_ret != ROCKX_RET_SUCCESS)
    {
        printf("rockx_face_detect failed...\n");
        return -1;
    }

    Mat rockx_face_mat = Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data);

    for (int i = 0; i < face_array.count; i++)
    {
        int left = face_array.object[i].box.left;
        int top = face_array.object[i].box.top;
        int w = face_array.object[i].box.right - face_array.object[i].box.left;
        int h = face_array.object[i].box.bottom - face_array.object[i].box.top;
        Rect boudingRect(left, top, w, h);
        rectangle(rockx_face_mat, boudingRect, Scalar(255,255,0),1);
    }

    imwrite("output_face_det.jpg", rockx_face_mat);
    rockx_destroy(face_detect_handle);
   
    return 0;
}

代码详解

1. rockx_create_config()

rockx_config_t* rockx_create_config(void);

  • 参数:无
  • 返回值 :指向新创建的rockx_config_t配置对象的指针。
  • 作用:创建一个空的配置对象,用于后续设置RockX模块的运行参数。
  • 代码示例rockx_config_t * face_detect_config = rockx_create_config(); 这行代码创建了一个名为face_detect_config的配置对象,用来保存人脸检测模块的配置。

2. rockx_add_config()

rockx_ret_t rockx_add_config(rockx_config_t *config, const char *key, const char *value);

  • 参数
    • config:指向已创建的配置对象的指针。
    • key:配置项的键名,是一个字符串。常用键为ROCKX_CONFIG_DATA_PATH,用于指定模型数据文件的存放路径。
    • value:与key对应的配置项的值。
  • 返回值rockx_ret_t枚举值,ROCKX_RET_SUCCESS表示成功,其他值表示失败。
  • 作用:向配置对象中添加具体的配置键值对。
  • 代码示例rockx_add_config(face_detect_config, ROCKX_CONFIG_DATA_PATH, "/userdata/rockx_data/"); 这行代码设置了模型文件的查找路径为/userdata/rockx_data/

3. rockx_create()

rockx_ret_t rockx_create(rockx_handle_t *handle, rockx_module_t m, void *config, size_t config_size);

  • 参数
    • handlerockx_handle_t类型的指针,用于接收创建成功的模块句柄。
    • mrockx_module_t枚举类型,指定要创建的模块功能。例如:
      • ROCKX_MODULE_FACE_DETECTION_V2:V2版本的人脸检测模块。
      • ROCKX_MODULE_OBJECT_DETECTION:目标检测模块。
    • config:指向配置对象rockx_config_t的指针。
    • config_size:配置对象的大小,通常传入0即可。
  • 返回值rockx_ret_t枚举值,ROCKX_RET_SUCCESS表示成功,其他值表示失败。
  • 作用:根据指定的模块类型和配置,初始化RockX模块并创建操作句柄。这是使用任何RockX功能前必须先完成的初始化步骤。
  • 这行代码创建了一个V2版本的人脸检测模块,并将操作句柄保存在face_detect_handle中,后续所有检测操作都通过此句柄进行。

4. rockx_image_read

函数原型rockx_ret_t rockx_image_read(const char *img_path, rockx_image_t *image, int flag);

  • 参数
    • img_path:图像文件的路径字符串。
    • image:指向rockx_image_t结构体的指针,用于存储读取到的图像数据。
    • flag:读取图像的标志(Flag),通常1表示以彩色模式读取。
  • 返回值rockx_ret_t枚举值,ROCKX_RET_SUCCESS表示成功,其他值表示失败。
  • 作用 :从文件路径读取图像,并将其数据填充到rockx_image_t结构体中。
  • 代码示例rockx_image_read(img_path, &face_rockx_image, 1); 这行代码读取argv[1]路径下的图像,并将数据存入face_rockx_image结构体。

5. rockx_image_t 结构体

定义:这不是一个函数,而是一个用于存储图像信息的关键结构体。

  • 成员
    • width:图像的宽度(像素)。
    • height:图像的高度(像素)。
    • datauint8_t*类型的指针,指向存储实际图像像素数据的连续内存块。
    • pixel_format:图像的像素格式(如RGB、BGR等)。
  • 作用:作为RockX SDK内部传递图像数据的标准容器。
  • 代码示例Mat rockx_face_mat = Mat(face_rockx_image.height, face_rockx_image.width, CV_8UC3, face_rockx_image.data); 这行代码巧妙地利用了rockx_image_t的成员,将其中的数据指针datawidthheight共享给OpenCV的Mat对象,避免了数据拷贝,实现了零开销的格式转换。

6. rockx_face_detect

函数原型rockx_ret_t rockx_face_detect(rockx_handle_t handle, rockx_image_t *in_image, rockx_object_array_t *out_objects, void *extra);

  • 参数
    • handle:由rockx_create创建的人脸检测模块句柄。
    • in_image:指向rockx_image_t的指针,为输入图像。
    • out_objects:指向rockx_object_array_t结构体的指针,用于接收检测到的人脸数组。每个对象(object[i])都包含一个box矩形框(left, top, right, bottom)。
    • extra:扩展参数,通常设置为nullptr
  • 返回值rockx_ret_t枚举值,ROCKX_RET_SUCCESS表示成功,其他值表示失败。
  • 作用 :对输入图像执行人脸检测,并将检测结果(如人脸位置框)返回到out_objects中。
  • 代码示例 :这行代码对之前读取的图像face_rockx_image进行人脸检测,检测到的人脸信息(如位置、大小)会被保存至face_array中。

7. rockx_destroy

函数原型rockx_ret_t rockx_destroy(rockx_handle_t handle);

  • 参数
    • handle:要销毁的RockX模块句柄。
  • 返回值rockx_ret_t枚举值,ROCKX_RET_SUCCESS表示成功。
  • 作用 :销毁由rockx_create创建的RockX模块句柄,并释放其占用的所有资源。这是一个必须调用的清理函数,以防止内存泄漏。
  • 代码示例rockx_destroy(face_detect_handle); 这行代码释放了face_detect_handle所关联的人脸检测模块资源。
相关推荐
慢半拍、1 小时前
从全局人格到任务执行:构建 AI 协作的四层约束体系(Skill Layers)
人工智能·ai编程·trae
xcbrand1 小时前
新零售品牌策划公司有哪些
大数据·人工智能·python·零售
掘金安东尼1 小时前
Claude Code 团队工程师:我为什么放弃 Markdown,全面转向 HTML
人工智能
码农的神经元1 小时前
2026 年数维杯A 题:抱轨式磁浮列车的悬浮电磁铁故障检测问题
人工智能·算法·数学建模
python零基础入门小白1 小时前
驾驭智能体风暴:企业技术管理范式重构与落地实战指南
人工智能·学习·大模型·agent·产品经理·ai大模型·大模型学习
国产化创客1 小时前
ESP-Claw与MimiClaw:ESP32端侧AI智能体的两种实现路径
人工智能·物联网·开源·智能硬件
互联网志1 小时前
规划聚焦人工智能 赋能产业高质量发展
人工智能
QD_ANJING1 小时前
普及一下五月AI前端面试需要达到的强度....
前端·javascript·vue.js·人工智能·面试·职场和发展
AI自动化工坊1 小时前
Chrome DevTools MCP:让AI编码代理获得浏览器调试能力
前端·人工智能·chrome devtools