RV1126 NO.56:ROCKX+RV1126人脸识别推流项目之VI模块和VENC模块讲解

一．VI模块介绍：

本章节介绍基于RockX和RV1126的人脸识别推流项目中VI模块和VENC模块的初始化设置。该项目需要配置两个VI模块：一个用于RockX人脸检测和识别处理，另一个用于显示AI处理结果。相关实现代码位于rkmedia_module_function.cpp文件中。

二．VI模块的思维导图：

该思维导图概述了VI模块配置的基本流程。具体操作包括：首先创建两个RV1126_VI_CONFIG结构体，分别用于rockx人脸检测/识别功能以及AI处理结果的显示输出。完成参数配置后，通过调用rkmedia_vi_init函数对两个VI模块进行初始化和启用操作。最终，将这两个VI模块的ID号存储在vi_containers数组中。

三.VI模块设置代码

3.1. rockx的VI模块设置

cpp 复制代码

RV1126_VI_CONFIG rockx_rkmedia_vi_config;
    memset(&rockx_rkmedia_vi_config, 0, sizeof(rockx_rkmedia_vi_config));
    rockx_rkmedia_vi_config.id = 0;
    rockx_rkmedia_vi_config.attr.pcVideoNode = CMOS_DEVICE_NAME;   // VIDEO视频节点路径,
    rockx_rkmedia_vi_config.attr.u32BufCnt = 3;                    // VI捕获视频缓冲区计数，默认是3
    rockx_rkmedia_vi_config.attr.u32Width = 1920;                  // 视频输入的宽度，一般和CMOS摄像头或者外设的宽度一致
    rockx_rkmedia_vi_config.attr.u32Height = 1080;                 // 视频输入的高度，一般和CMOS摄像头或者外设的高度一致
    rockx_rkmedia_vi_config.attr.enPixFmt = IMAGE_TYPE_NV12;       // 视频输入的图像格式，默认是NV12(IMAGE_TYPE_NV12)
    rockx_rkmedia_vi_config.attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // VI捕捉视频的类型
    rockx_rkmedia_vi_config.attr.enWorkMode = VI_WORK_MODE_NORMAL; // VI的工作模式，默认是NORMAL(VI_WORK_MODE_NORMAL)
    int ret = rkmedia_vi_init(&rockx_rkmedia_vi_config);           // 初始化VI工作
    if (ret != 0)
    {
        printf("vi init error\n");
    }
    else
    {
        printf("vi init success\n");
        RV1126_VI_CONTAINTER vi_container;
        vi_container.id = 0;
        vi_container.vi_id = rockx_rkmedia_vi_config.id;
        set_vi_container(0, &vi_container); // 设置VI容器
    }

参数说明：

id：VI模块的唯一标识符，用于模块初始化和使能
pcVideoNode：指定摄像头视频节点（默认：rkispp_scale0）
u32BufCnt：缓冲区数量配置（默认值：3）
u32Width：VI模块分辨率宽度（默认：1920像素）
u32Height：VI模块分辨率高度（默认：1080像素）
enPixFmt：图像格式设置（默认：IMAGE_TYPE_NV12）
enBufType：视频捕获类型（默认：MMAP）
enWorkMode：VI模块工作模式（默认：VI_WORK_MODE_NORMAL）

配置流程： 完成上述参数设置后，需调用**set_vi_container**函数将VI模块ID存入数组，存储位置为数组索引0。

3.2.显示AI结果的VI模块设置

cpp 复制代码

 RV1126_VI_CONFIG show_rkmedia_vi_config;
    memset(&show_rkmedia_vi_config, 0, sizeof(show_rkmedia_vi_config));
    show_rkmedia_vi_config.id = 1;
    show_rkmedia_vi_config.attr.pcVideoNode = SHOW_CMOS_DEVICE_NAME;   // VIDEO视频节点路径,
    show_rkmedia_vi_config.attr.u32BufCnt = 3;                    // VI捕获视频缓冲区计数，默认是3
    show_rkmedia_vi_config.attr.u32Width = 1920;                  // 视频输入的宽度，一般和CMOS摄像头或者外设的宽度一致
    show_rkmedia_vi_config.attr.u32Height = 1080;                 // 视频输入的高度，一般和CMOS摄像头或者外设的高度一致
    show_rkmedia_vi_config.attr.enPixFmt = IMAGE_TYPE_NV12;       // 视频输入的图像格式，默认是NV12(IMAGE_TYPE_NV12)
    show_rkmedia_vi_config.attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // VI捕捉视频的类型
    show_rkmedia_vi_config.attr.enWorkMode = VI_WORK_MODE_NORMAL; // VI的工作模式，默认是NORMAL(VI_WORK_MODE_NORMAL)
    ret = rkmedia_vi_init(&show_rkmedia_vi_config);           // 初始化VI工作
    if (ret != 0)
    {
        printf("show_vi low_init error\n");
    }
    else
    {
        printf("show_vi low_init success\n");
        RV1126_VI_CONTAINTER vi_container;
        vi_container.id = 1;
        vi_container.vi_id =  show_rkmedia_vi_config.id;
        set_vi_container(1, &vi_container); // 设置VI容器
    }

这部分参数与上文基本一致，主要区别在于pcVideoNode参数。具体说明如下：

参数说明：
- id：VI模块标识号，用于初始化和启用模块
- pcVideoNode：视频节点名称（显示VI模块使用rkispp_scale1，而rockx VI模块使用rkispp_scale0）
- u32BufCnt：缓冲区数量（默认值3）
- u32Width：分辨率宽度（1920）
- u32Height：分辨率高度（1080）
- enPixFmt：图像格式（默认NV12，此处指定为IMAGE_TYPE_NV12）
- enBufType：视频捕获类型（默认MMAP）
- enWorkMode：工作模式（设置为VI_WORK_MODE_NORMAL）
配置完成后，需要通过set_vi_container将VI模块号存入数组，注意此处数组索引号为1。

3.3. 启动两个VI模块进行视频采集

cpp 复制代码

//同一个物理摄像头（CAMERA_ID）可以输出多路不同规格的视频流，而非多个独立摄像头。
    ret = RK_MPI_VI_StartStream(CAMERA_ID, 0);
    if(ret)
    {
        printf("RK_MPI_VI_StartStream_0 Failed....\n");
    }

    ret = RK_MPI_VI_StartStream(CAMERA_ID, 1);
    if(ret)
    {
        printf("RK_MPI_VI_StartStream_1 Failed....\n");
    }

完成两个VI模块的参数配置后，调用RK_MPI_VI_StartStream函数即可启动摄像头双视频模块的数据采集。

3.4. rkmedia_vi_init函数的实现：

cpp 复制代码

int rkmedia_vi_init(RV1126_VI_CONFIG *rv1126_vi_config)
{
    int ret;
    VI_CHN_ATTR_S vi_attr = rv1126_vi_config->attr;
    unsigned int id = rv1126_vi_config->id;
    //vi_attr.pcVideoNode = CMOS_DEVICE_NAME;//
    //初始化VI模块
    ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, id, &vi_attr);
    //使能VI模块
    ret |= RK_MPI_VI_EnableChn(CAMERA_ID, id);
    if (ret != 0)
    {
        printf("create vi failed.....\n", ret);
        return -1;
    }
    return 0;
}

在rkmedia_vi_init自定义函数中，核心功能是实现VI模块的初始化和使能。具体通过以下两个步骤完成：

调用RK_MPI_VI_SetChnAttr接口初始化VI通道属性
调用RK_MPI_VI_EnableChn接口使能VI通道

3.5. set_vi_container函数的实现：

cpp 复制代码

typedef struct
{
    unsigned int id;
    unsigned int vi_id;

}RV1126_VI_CONTAINTER;



int set_vi_container(unsigned int index, RV1126_VI_CONTAINTER *vi_container)
{
    pthread_mutex_lock(&all_containers_mutex);
    all_containers.vi_containers[index] = *vi_container;
    pthread_mutex_unlock(&all_containers_mutex);

    return 0;
}

四.VENC模块介绍

一.VENC模块的思维导图

二.VENC模块设置的代码

4.1. venc参数的设置

cpp 复制代码

RV1126_VENC_CONFIG rkmedia_venc_config = {0};
    memset(&rkmedia_venc_config, 0, sizeof(rkmedia_venc_config));
    rkmedia_venc_config.id = 0;
    rkmedia_venc_config.attr.stVencAttr.enType = RK_CODEC_TYPE_H264;          // 编码器协议类型
    rkmedia_venc_config.attr.stVencAttr.imageType = IMAGE_TYPE_NV12;          // 输入图像类型
    rkmedia_venc_config.attr.stVencAttr.u32PicWidth = 1920;                   // 编码图像宽度
    rkmedia_venc_config.attr.stVencAttr.u32PicHeight = 1080;                  // 编码图像高度
    rkmedia_venc_config.attr.stVencAttr.u32VirWidth = 1920;                   // 编码图像虚宽度，一般来说u32VirWidth和u32PicWidth是一致的
    rkmedia_venc_config.attr.stVencAttr.u32VirHeight = 1080;                  // 编码图像虚高度，一般来说u32VirHeight和u32PicHeight是一致的
    rkmedia_venc_config.attr.stVencAttr.u32Profile = 66;                      // 编码等级H.264: 66: Baseline; 77:Main Profile; 100:High Profile; H.265: default:Main; Jpege/MJpege: default:Baseline(编码等级的作用主要是改变画面质量，66的画面质量最差利于网络传输，100的质量最好)

    rkmedia_venc_config.attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;        // 编码器码率控制模式
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.u32Gop = 25;                  // GOPSIZE:关键帧间隔
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3; // 码率
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;      // 目的帧率分子:填的是1固定
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;     // 目的帧率分母:填的是25固定
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;       // 源头帧率分子:填的是1固定
    rkmedia_venc_config.attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;      // 源头帧率分母:填的是25固定

以下是高分辨率VENC编码器的参数设置及其含义：

编码器基础属性配置

stVencAttr.enType：指定编码器协议类型，此处设置为H264编码器(RK_CODEC_TYPE_H264)

stVencAttr.imageType：编码器图像类型，需与输入图像类型一致(IMAGE_TYPE_NV12)

分辨率参数

stVencAttr.enType.u32PicWidth：编码图像宽度(1920)

stVencAttr.enType.u32PicHeight：编码图像高度(1080)

stVencAttr.enType.u32VirWidth：虚拟宽度(与u32PicWidth相同，1920)

stVencAttr.enType.u32VirHeight：虚拟高度(与u32PicHeight相同，1080)

编码等级

stVencAttr.enType.u32Profile：设置为66(Baseline模式)，更适合视频传输

码率控制配置

stRcAttr.enRcMode：码率控制模式(H264 CBR模式，VENC_RC_MODE_H264CBR)

stRcAttr.stH264Cbr.u32Gop：GOP值(25)

stRcAttr.stH264Cbr.u32BitRate：码率设置(1920×1080×3≈700KB/s)

帧率参数

stRcAttr.stH264Cbr.u32SrcFrameRateDen：源帧率分母(25)

stRcAttr.stH264Cbr.u32SrcFrameRateNum：源帧率分子(1)

stRcAttr.stH264Cbr.u32DstFrameRateDen：目标帧率分母(25)

stRcAttr.stH264Cbr.u32DstFrameRateNum：目标帧率分子(1)

（注：通常源帧率和目标帧率保持相同数值）

完成上述参数配置后，调用封装函数rkmedia_venc_init进行VENC模块初始化。

4.2.rkmedia_venc_init的实现

cpp 复制代码

//VENC的初始化
int rkmedia_venc_init(RV1126_VENC_CONFIG *rv1126_venc_config)
{
    int ret;
    VENC_CHN_ATTR_S venc_chn_attr = rv1126_venc_config->attr;
    unsigned int venc_id = rv1126_venc_config->id;
    ret = RK_MPI_VENC_CreateChn(rv1126_venc_config->id, &venc_chn_attr);
    if (ret != 0)
    {
        printf("create rv1126_venc_module failed\n");
        return -1;
    }
    else
    {
        printf("create rv1126_venc_module success\n");
    }

    return 0;
}

该自定义函数主要对RK_MPI_VENC_CreateChn进行了简单封装，并接RV1126_VENC_CONFIG结构体指针作为参数。

4.3.set_venc_container函数的实现：

cpp 复制代码

typedef struct
{
    unsigned int id;
    unsigned int venc_id;

}RV1126_VENC_CONTAINER;



int set_venc_container(unsigned int index, RV1126_VENC_CONTAINER *venc_container)
{
    pthread_mutex_lock(&all_containers_mutex);
    all_containers.venc_containers[index] = *venc_container;
    pthread_mutex_unlock(&all_containers_mutex);
    return 0;
}

完成VENC模块配置后，需要将模块ID注册至VENC容器数组。其中，高分辨率VENC的默认ID为0，可通过调用封装函数set_venc_container 实现。该函数的核心功能是将VENC ID 存储至全局数组venc_containers中。