RV1126+OPENCV在视频中添加LOGO图像

一.RV1126+OPENCV在视频中添加LOGO图像大体流程图

主要是利用RV1126的视频流结合OPENCV的API在视频流里面添加LOGO图像，换言之就是在RV1126的视频流里面叠加图片。大体流程我们来看上图，要完成这个功能我们需要创建两个线程(实际上还有初始化过程，这里先忽略了)，第一个线程是opencv_vi_logo_handle_thread它主要是获取VI原始数据并有OPENCV转换成Mat矩阵然后添加LOGO图像，并把VI数据发送到VENC编码器。

第二个线程是get_venc_stream_thread它主要是获取H264的VENC码流数据，并且保存到H264文件

二.具体代码实现

上图我们已经说了大概的流程图，这部分我们重点讲解代码的实现

2.1. RV1126 模块初始化并启动 VI 工作

2.2VENC模块初始化

我们之前的很多实战都没有使用这个函数开启视频流，那是因为很多时候VI模块我们都与其他模块绑定了，所以不需要，这里我们并没有和任何模块绑定，需要开启这个

上面代码是RV1126模块的初始化，包括VI模块的初始化(RK_MPI_VI_SetChnAttr )、使能VI模块(RK_MPI_VI_EnableChn )、VENC模块的初始化(RK_MPI_VENC_CreateChn )、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置，我们就不详细说了，因为这方面的内容之前的课程已经详细说过。

2.3创建线程

2.4 创建opencv_vi_logo_handle_thread 线程

上面是opencv_vi_logo_handle_thread的具体实现。

1.我们要通过imread读取图片

2.把图片cvtColor转换成灰度图片

(由于VI模块的图像格式是NV12，所以我们的图片必须要以灰度图的方式进行添加)。

3.调用RK_MPI_SYS_GetMediaBuffer获取每一帧的VI视频原始数据

#4.使用OPENCV的API把每一个视频数据转换成Mat矩阵

具体的操作是：

Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb))，

K_MPI_MB_GetPtr(mb) 是一个函数调用，返回一个指向内存块的指针

mb 是一个媒体缓冲区对象（Media Buffer）

这个构造函数直接使用外部内存，而不是为矩阵分配新内存

复制代码

函数原型：
Mat(int rows, int cols, int type, void* data, size_t step = AUTO_STEP);
参数含义：
rows：矩阵的行数（HEIGHT）
cols：矩阵的列数（WIDTH）
type：矩阵的数据类型（CV_8UC1）
data：指向数据的指针（RK_MPI_MB_GetPtr (mb)）
step：每行数据的字节数（默认为 AUTO_STEP，自动计算）

通过Mat的构造器，就可以把RV1126的VI视频数据转换成Mat，转换成Mat之后，我们就需要对Mat进行图层叠加操作。

5.Mat叠加操作

需要分两步

第一步：先创建一个感兴趣区域

Mat rv1126_img_mat_roi=rv1126_img_mat(Rect(100,100, logo_img.cols, logo_img.rows)) ，

这个感性区域的长宽要与logo图片的一致

第二步：利用copyTo函数把读取的图片拷贝到感兴趣区域rv1126_img_mat_roi

具体代码是logo_img.copyTo(rv1126_img_mat_roi)。

6.要把RV1126叠加过后的视频VI数据发送到H264的VENC编码器

调用的API是RK_MPI_SYS_SendMediaBuffer 。

2.4 创建get_venc_stream_thread 线程

上面是get_venc_stream_thread 的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

2.5 输出结果：

经过上面的编码后，我们来看看输出的H264文件。可以看到这个H264文件，嵌入了JPG图片。这个效果就实现了用OPENCV图片叠加的功能对RV1126的视频流进行图片LOGO的添加

复制代码

int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = WIDTH;                 // Width
  vi_chn_attr.u32Height = HEIGHT;               // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }
VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;
  venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;

  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);  
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

三.小结

在做这个功能的时候遇到了挺多问题，比例提示什么gop数据过大啥的，然后一直在重复检查修改参数，但是还是不行，最后弄了一晚上也找不出哪里有问题。今天早上重新来弄的时候，先用了其他功能的代码在板子上运行，说vi模块无法打开，这时候才意识到是板子连接出现了问题，应该是网线接口不紧的问题。

所以遇到问题，首先检查代码是没问题的，如果检查了代码，代码的配置的每一步都与自己所用所学对得上，这时候就不要一股脑的找代码问题了，虽然报错是说代码哪里配置错误，但也有可能是硬件设备连接等问题的错误导致代码报错。