OPENCV——RV1126+OPENCV在视频中添加LOGO图像

Deitymoon2026-06-30 11:07

前面我们学的都是在图片上进行操作，但是在真正用的时候都是在视频上，下面就是在视频上处理

一、大体流程

本章节主要是利用RV1126的视频流结合OPENCV的API在视频流里面添加LOGO图像，换言之就是在RV1126的视频流里面叠加图片。大体流程我们来看上图，要完成这个功能我们需要创建两个线程(实际上还有初始化过程，前面的博客讲了好多次，这里先忽略了)，第一个线程是opencv_vi_logo_handle_thread它主要是获取VI原始数据并有OPENCV转换成Mat矩阵然后添加LOGO图像，并把VI数据发送到VENC编码器。

第二个线程是get_venc_stream_thread它主要是获取H264的VENC码流数据，并且保存到H264文件。

其实本质就是在每一帧图片上copyTo

二、具体代码实现：

上图我们已经说了大概的流程图，这部分我们重点讲解代码的实现

复制代码 
// Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved.
// Use of this source code is governed by a BSD-style license that can be
// found in the LICENSE file.

#include <assert.h>
#include <bits/types/FILE.h>
#include <fcntl.h>
#include <getopt.h>
#include <opencv2/imgproc.hpp>
#include <pthread.h>
#include <signal.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>

// #include "common/sample_common.h"
#include "rkmedia_api.h"

#include <opencv2/core.hpp>
// #include <opencv2/imgoroc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;


#define CAMERA_PATH "rkispp_scale0"
#define CAMERA_ID 0
#define CAMERA_CHN 0
#define VENC_CHN 0
#define WIDTH 1920
#define HEIGHT 1080

void * opencv_vi_logo_handle_thread(void * args)
{
  pthread_detach(pthread_self());

  MEDIA_BUFFER mb;
  Mat logo_img = imread("/userdata/OIP-C.png");
  cvtColor(logo_img, logo_img, COLOR_RGB2GRAY);
  while(1)
  {
      mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);
      if(!mb)
      {
        printf("Get vi break...\n");
        break;
      }
      printf("Get vi success...\n");
      Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));
      Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100,100,logo_img.cols,logo_img.rows));
      logo_img.copyTo(rv1126_img_mat_roi);
      RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);
      RK_MPI_MB_ReleaseBuffer(mb);
  }
  return NULL;
}

void * get_venc_stream_thread(void * args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * h264_opencv_logo_file = fopen("test_opencvlogo.h264", "w+");
  while(1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC,VENC_CHN, -1);
    if(!mb)
    {
      printf("Get venc break...\n");
      break;
    }
    fwrite(RK_MPI_MB_GetPtr(mb),RK_MPI_MB_GetSize(mb), 1, h264_opencv_logo_file);
    RK_MPI_MB_ReleaseBuffer(mb);
  }
  return NULL;
}

int main()
{
  int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = WIDTH;                 // Width
  vi_chn_attr.u32Height = HEIGHT;               // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;
  venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);  
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("start vi failed....\n");
  }
  else
  {
    printf("start vi success....\n");
  }

  pthread_t pid1, pid2;
  pthread_create(&pid1, NULL, opencv_vi_logo_handle_thread, NULL);
  pthread_create(&pid2, NULL, get_venc_stream_thread, NULL);

  while (1)
  {
    sleep(2);
  }

  RK_MPI_VENC_DestroyChn(VENC_CHN);
  RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN);

  return 0;
}

2.1. RV1126 模块初始化并启动 VI工作

RV1126模块的初始化，包括VI模块的初始化(RK_MPI_VI_SetChnAttr )、使能VI模块(RK_MPI_VI_EnableChn )、VENC模块的初始化(RK_MPI_VENC_CreateChn )、启动VI工作(RK_MPI_VI_StartStream)。关于这方面的参数设置，我们就不详细说了，因为这方面的内容之前的课程已经详细说过。

2.2. opencv_vi_handle_thread线程的讲解

复制代码 
void * opencv_vi_logo_handle_thread(void * args)
{
  pthread_detach(pthread_self());

  MEDIA_BUFFER mb;
  Mat logo_img = imread("/userdata/OIP-C.png");
  cvtColor(logo_img, logo_img, COLOR_RGB2GRAY);
  while(1)
  {
      mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);
      if(!mb)
      {
        printf("Get vi break...\n");
        break;
      }
      printf("Get vi success...\n");
      Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));
      Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100,100,logo_img.cols,logo_img.rows));
      logo_img.copyTo(rv1126_img_mat_roi);
      RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);
      RK_MPI_MB_ReleaseBuffer(mb);
  }
  return NULL;
}

上面是opencv_vi_logo_handle_thread 的具体实现。首先我们要通过imread读取图片，然后把图片cvtColor转换成灰度图片(由于VI模块的图像格式是NV12，所以我们的图片必须要以灰度图的方式进行添加)。

然后调用RK_MPI_SYS_GetMediaBuffer 获取每一帧的VI视频原始数据，然后使用OPENCV的API把每一个视频数据转换成Mat矩阵，具体的操作是：Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb)) ， 这是一个Mat构造器，第一个参数是HEIGHT：1080，第二个参数WIDTH：1920，第三个参数：图像格式CV_8UC1，第四个参数:具体的图像数据RK_MPI_MB_GetPtr(mb) **。**通过Mat的构造器，就可以把RV1126的VI视频数据转换成Mat，转换成Mat之后，我们就需要对Mat进行图层叠加操作。

Mat叠加操作，需要分两步，第一步：先创建一个感兴趣区域，Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100, 100, logo_img.cols, logo_img.rows)) ， 这里的感兴趣区域以矩形为背景Rect(100,100,logo_img.cols ,logo_img.rows )，x:100，y: 100，width: logo_img.cols ，height:logo_img.rows 。第二步：利用copyTo函数把读取的图片拷贝到感兴趣区域rv1126_img_mat_roi , 具体代码是logo_img.copyTo(rv1126_img_mat_roi)。

进行上述所有的操作后，就需要把RV1126叠加过后的视频VI数据发送到H264的VENC编码器，调用的API是RK_MPI_SYS_SendMediaBuffer 。

2.3. get_venc_stream_thread线程的讲解

复制代码 
void * get_venc_stream_thread(void * args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * h264_opencv_logo_file = fopen("test_opencvlogo.h264", "w+");
  while(1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC,VENC_CHN, -1);
    if(!mb)
    {
      printf("Get venc break...\n");
      break;
    }
    fwrite(RK_MPI_MB_GetPtr(mb),RK_MPI_MB_GetSize(mb), 1, h264_opencv_logo_file);
    RK_MPI_MB_ReleaseBuffer(mb);
  }
  return NULL;
}

上面是get_venc_stream_thread 的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

2.4. 输出结果：

经过上面的编码后，我们来看看输出的H264文件。可以看到这个H264文件，嵌入了周董的JPG图片。这个效果就实现了用OPENCV图片叠加的功能对RV1126的视频流进行图片LOGO的添加

热门推荐
012026年6月AI大模型全景报告：GPT-5.6、Claude Opus 4.8、Gemini 3.5，中美AI三足鼎立谁主沉浮？022026年6月AI行业全景：从百模大战到Agent元年，这30天发生了什么？032026 年 AI 编程工具终极横评：Cursor vs Claude Code vs Copilot vs Windsurf04Trae国际版与国内版深度测评：AI原生IDE的双生花05【AI】2026 年具身智能模型和世界模型总结06飞书长连接_事件订阅（接收消息，审批任务状态变更）07Claude Code、Codex、Cursor三分天下：2026年AI编程Agent生态全景剖析08GitHub 镜像站点092026 AI 编程工具终极实战指南：Cursor vs Claude Code vs Copilot，开发者该怎么选？102026年AI架构实战：彻底解决OpenAI接口超时与封号，Python调用GPT-5.2/Sora2企业级架构详解（附源码+压测报告）