RV1126 NO.45:RV1126+OPENCV在视频中添加LOGO图像

骄傲的心别枯萎2025-11-10 20:58

一.RV1126+OPENCV在视频中添加LOGO图像大体流程图

视频流本质上是由一系列连续图像组成的集合，因此实现视频logo嵌入的关键在于循环叠加过程。本章作为实战环节，将重点讲解如何利用RV1126的视频流处理能力，结合OpenCV API实现视频logo叠加功能。

如上图所示，该功能的实现流程主要包含两个核心线程（初始化过程暂不讨论）：

  1. opencv_vi_logo_handle_thread：负责从VI获取原始视频数据，通过OpenCV转换为Mat矩阵并进行logo叠加处理，最后将处理后数据发送至VENC编码器。
  2. get_venc_stream_thread：主要负责获取H264格式的VENC编码流，并将其保存为H264文件。

二.具体代码实现：

上图我们已经说了大概的流程图，这部分我们重点讲解代码的实现

2.1. RV1126模块初始化并启动VI工作

cpp 复制代码 
  int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = WIDTH;                 // Width
  vi_chn_attr.u32Height = HEIGHT;               // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;
  venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);  
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("start vi failed....\n");
  }
  else
  {
    printf("start vi success....\n");
  }

这段代码实现了RV1126模块的初始化流程，主要包含以下操作：

  1. 调用RK_MPI_VI_SetChnAttr初始化VI模块
  2. 通过RK_MPI_VI_EnableChn启用VI通道
  3. 使用RK_MPI_VENC_CreateChn创建VENC模块
  4. 执行RK_MPI_VI_StartStream启动VI视频流

由于相关参数设置在前文中已有详细说明，此处不再赘述。

2.2. opencv_vi_handle_thread线程的讲解

cpp 复制代码 
//opencv的Logo处理VI线程
void *opencv_vi_logo_handle_thread(void *args)
{
  pthread_detach(pthread_self());

  MEDIA_BUFFER mb = NULL;
  Mat logo_img = imread("/userdata/jaychou.png");//读取LOGO图片编码Mat矩阵
  cvtColor(logo_img, logo_img, COLOR_RGB2GRAY); //cvtColor把彩色图像转换成灰度图

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI模块的数据
    if (!mb)
    {
      printf("Get vi break....\n");
      break;
    }

    printf("Get vi success...\n");

    Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成Mat矩阵
 /*注意这里为什么在VI数据转换成Mat矩阵之后为什么可以直接传参，是因为这里是浅拷贝机制,此构造函数创建的Mat对象仅包含头信息（如尺寸、数据类型、数据指针），不复制实际数据。*/
    Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100, 100, logo_img.cols, logo_img.rows));//在Mat矩阵里面获取感兴趣区域
    logo_img.copyTo(rv1126_img_mat_roi);//把Logo的矩阵拷贝到可感兴趣区域
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把处理后的VI数据传输给VENC编码器
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

这是opencv_vi_logo_handle_thread的具体实现流程：

  1. 图像预处理

    • 使用imread读取logo图片
    • 通过cvtColor将其转换为灰度图（因VI模块采用NV12格式，必须以灰度图形式添加）

  2. 视频帧处理

    • 调用RK_MPI_SYS_GetMediaBuffer获取VI视频原始数据

    • 将视频数据转换为Mat矩阵：

      cpp 复制代码 
      Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb))

      参数说明：

      • 分辨率：1920x1080（WIDTH x HEIGHT）
      • 图像格式：CV_8UC1（8位单通道）
      • 数据指针：RK_MPI_MB_GetPtr(mb)

  3. 图层叠加

    • 创建感兴趣区域：

      cpp 复制代码 
      Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100, 100, logo_img.cols, logo_img.rows))

      参数说明：

      • 位置：(x=100, y=100)
      • 尺寸：与logo图片同宽高

    • 使用copyTo实现叠加：

      cpp 复制代码 
      logo_img.copyTo(rv1126_img_mat_roi)

  4. 结果输出

    • 最后通过RK_MPI_SYS_SendMediaBuffer将处理后的VI数据发送至H264编码

2.3. get_venc_stream_thread线程的讲解

cpp 复制代码 
void *get_venc_stream_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * h264_opencv_logo_file = fopen("test_opencv_logo.h264", "w+"); 

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);//获取VENC编码器数据
    if(!mb)
    {
       printf("Get venc break.....\n");
       break;
    }

    fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1 , h264_opencv_logo_file);//保存数据
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

上面是get_venc_stream_thread 的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

2.4.完整代码

cpp 复制代码 
// Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved.
// Use of this source code is governed by a BSD-style license that can be
// found in the LICENSE file.

#include <assert.h>
#include <bits/types/FILE.h>
#include <fcntl.h>
#include <getopt.h>
#include <opencv2/imgproc.hpp>
#include <pthread.h>
#include <signal.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>

// #include "common/sample_common.h"
#include "rkmedia_api.h"

#include <opencv2/core.hpp>
// #include <opencv2/imgoroc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;


#define CAMERA_PATH "rkispp_scale0"
#define CAMERA_ID 0
#define CAMERA_CHN 0
#define VENC_CHN 0
#define WIDTH 1920
#define HEIGHT 1080

//opencv的Logo处理VI线程
void *opencv_vi_logo_handle_thread(void *args)
{
  pthread_detach(pthread_self());

  MEDIA_BUFFER mb = NULL;
  Mat logo_img = imread("/userdata/jaychou.png");//读取LOGO图片编码Mat矩阵
  cvtColor(logo_img, logo_img, COLOR_RGB2GRAY); //cvtColor把彩色图像转换成灰度图

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI模块的数据
    if (!mb)
    {
      printf("Get vi break....\n");
      break;
    }

    printf("Get vi success...\n");

    Mat rv1126_img_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成Mat矩阵
    Mat rv1126_img_mat_roi = rv1126_img_mat(Rect(100, 100, logo_img.cols, logo_img.rows));//在Mat矩阵里面获取感兴趣区域
    /*注意这里为什么在VI数据转换成Mat矩阵之后为什么可以直接传参，是因为这里是浅拷贝机制,此构造函数创建的Mat对象仅包含头信息（如尺寸、数据类型、数据指针），不复制实际数据。*/
    logo_img.copyTo(rv1126_img_mat_roi);//把Logo的矩阵拷贝到可感兴趣区域
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把处理后的VI数据传输给VENC编码器
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

void *get_venc_stream_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * h264_opencv_logo_file = fopen("test_opencv_logo.h264", "w+"); 

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);//获取VENC编码器数据
    if(!mb)
    {
       printf("Get venc break.....\n");
       break;
    }

    fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1 , h264_opencv_logo_file);//保存数据
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

int main()
{
  int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = WIDTH;                 // Width
  vi_chn_attr.u32Height = HEIGHT;               // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;
  venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);  
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("start vi failed....\n");
  }
  else
  {
    printf("start vi success....\n");
  }

  pthread_t pid1, pid2;
  pthread_create(&pid1, NULL, opencv_vi_logo_handle_thread, NULL);
  pthread_create(&pid2, NULL, get_venc_stream_thread, NULL);

  while (1)
  {
    sleep(2);
  }

  RK_MPI_VENC_DestroyChn(VENC_CHN);
  RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN);

  return 0;
}

2.5. 输出结果：

经过上面的编码后，我们来看看输出的H264文件。可以看到这个H264文件，嵌入了周董的JPG图片。这个效果就实现了用OPENCV图片叠加的功能对RV1126的视频流进行图片LOGO的添加

相关推荐
这儿有一堆花2 小时前
向工程神经网络对二进制加法的巧妙解决方案
人工智能·深度学习·神经网络
撬动未来的支点2 小时前
【AI】拆解神经网络“技术高墙”：一条基于“根本原理-补丁理论-AI部署”哲学的学习路径
人工智能·神经网络
dxnb222 小时前
【Datawhale25年11月组队学习：hello-agents+Task1学习笔记】
人工智能·学习
二进制星轨2 小时前
Transofrmer架构详解与PyTorch实现（附代码讲解）
人工智能·pytorch·python
领航猿1号3 小时前
DeepSeek-OCR 上下文光学压缩详解与本地部署及vLLM推理
人工智能·aigc·ocr
东方隐侠安全团队-千里3 小时前
第3节 RSA算法开启公钥加密时代
网络·人工智能·算法
骄傲的心别枯萎3 小时前
RV1126 NO.46:RV1126+OPENCV对视频流进行视频膨胀操作
人工智能·opencv·计算机视觉·音视频·rv1126
视觉AI3 小时前
如何查看 Linux 下正在运行的 Python 程序是哪一个
linux·人工智能·python
热门推荐
01GitHub 镜像站点02UV安装并设置国内源03综合整理：pdf预览显示：你尝试预览的文件可能对你的计算机有害。如果你信任此文件以及其来源，请打开此文件以看其内容，如何解决以正常预览文件04BongoCat - 跨平台键盘猫动画工具05安娜的档案(Anna’s Archive) 镜像网站/国内最新可访问入口（持续更新）06Linux下V2Ray安装配置指南07Labelme从安装到标注：零基础完整指南08《大数据技术原理与应用》实验报告三 熟悉HBase常用操作09jdk21下载、安装（Windows、Linux、macOS）10PyCharm 社区版全平台安装指南