RV1126 NO.47:RV1126+OPENCV对视频流进行视频腐蚀操作

骄傲的心别枯萎2025-11-11 8:26

一.RV1126+OPENCV对视频流进行视频腐蚀操作的大体流程图

本章节将使用RV1126的视频流结合OpenCV API进行视频腐蚀处理，并完成编码保存。整个流程分为两个核心线程实现：

  1. 视频腐蚀处理线程(opencv_vi_erode_thread)

    • 初始化并启用VI模块获取原始视频数据
    • 使用OpenCV将数据转换为Mat矩阵
    • 应用erode函数进行视频腐蚀处理
    • 将处理后的数据传输至VENC编码器

  2. 视频编码保存线程(GET_VENC_STREAM_THREAD)

    • 从VENC编码器获取H264码流数据
    • 将编码后的视频流保存为H264文件

二．具体代码实现：

2.1. RV1126模块初始化并启动VI工作

cpp 复制代码 
 int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = 1920;                  // Width
  vi_chn_attr.u32Height = 1080;                 // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = 1920;
  venc_chn_attr.stVencAttr.u32PicHeight = 1080;
  venc_chn_attr.stVencAttr.u32VirWidth = 1920;
  venc_chn_attr.stVencAttr.u32VirHeight = 1080;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("ERROR: Start Vi failed.....!\n");
    return -1;
  }
  else
  {
    printf("SUCCESS: Start Vi success.....!\n");
  }

这段代码实现了RV1126模块的初始化流程，主要包含以下步骤：

  1. 通过RK_MPI_VI_SetChnAttr初始化VI模块
  2. 使用RK_MPI_VI_EnableChn启用VI模块
  3. 借助RK_MPI_VENC_CreateChn完成VENC模块初始化
  4. 调用RK_MPI_VI_StartStream启动VI工作流

考虑到这些参数设置已在前期课程中详细讲解过，此处不再赘述。

2.2. opencv_erode_vi_thread线程的讲解：

cpp 复制代码 
void *opencv_vi_erode_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据
    if (!mb)
    {
      printf("Get Vi Stream break.....\n");
      break;
    }

    Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵
    Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15
    erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

下面是优化后的内容：

这是opencv_erode_vi_thread线程的具体实现流程：

  1. 首先使用RK_MPI_SYS_GetMediaBuffer接口获取VI视频源输出的每一帧原始数据

  2. 将获取的视频帧数据转换为OpenCV的Mat矩阵格式：

    cpp 复制代码 
    Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));

    参数说明：

    • HEIGHT: 1080（图像高度）
    • WIDTH: 1920（图像宽度）
    • CV_8UC1: 图像格式（8位单通道）
    • RK_MPI_MB_GetPtr(mb): 指向原始图像数据的指针

  3. 对Mat矩阵进行腐蚀处理：

    • 定义腐蚀核为15×15的矩形结构元素：

      cpp 复制代码 
      Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15));

    • 使用该结构元素对图像进行腐蚀操作

2.3. get_venc_stream_thread线程的讲解

cpp 复制代码 
void *get_venc_stream_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * opencv_erode_h264_file = fopen("opencv_erode.h264", "w+");

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);
    if (!mb)
    {
      printf("Get Venc Stream break.....\n");
      break;
    }

    printf("Get ERODE_STREAM Success...\n");
    fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file);
    RK_MPI_MB_ReleaseBuffer(mb);
  }

  return NULL;
}

上面是get_venc_stream_thread 的具体实现，在这个线程里面要通过RK_MPI_SYS_GetMediaBuffer获取每一帧H264的编码数据，然后用fwrite写入。

2.4.完整代码

cpp 复制代码 
// Copyright 2020 Fuzhou Rockchip Electronics Co., Ltd. All rights reserved.
// Use of this source code is governed by a BSD-style license that can be
// found in the LICENSE file.

#include <assert.h>
#include <fcntl.h>
#include <getopt.h>
#include <opencv2/imgproc.hpp>
#include <pthread.h>
#include <signal.h>
#include <stdbool.h>
#include <stdio.h>
#include <stdlib.h>
#include <time.h>
#include <unistd.h>

// #include "common/sample_common.h"
#include "rkmedia_api.h"

#include <opencv2/core.hpp>
// #include <opencv2/imgoroc.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/opencv.hpp>

using namespace cv;
using namespace std;

#define CAMERA_PATH "rkispp_scale0"
#define CAMERA_ID 0
#define CAMERA_CHN 0
#define VENC_CHN 0
#define WIDTH 1920
#define HEIGHT 1080

void *opencv_vi_erode_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//获取VI数据
    if (!mb)
    {
      printf("Get Vi Stream break.....\n");
      break;
    }

    Mat rv1126_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成OPENCV的Mat矩阵
    Mat rv1126_structure = getStructuringElement(MORPH_RECT, Size(15, 15));//获取内核，内核的形状是矩形，长度大小是15 * 15
    erode(rv1126_mat, rv1126_mat, rv1126_structure);//对Mat矩阵进行erode腐蚀
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把腐蚀后的数据传输到VENC编码器
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }

  return NULL;
}

void *get_venc_stream_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * opencv_erode_h264_file = fopen("opencv_erode.h264", "w+");

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);
    if (!mb)
    {
      printf("Get Venc Stream break.....\n");
      break;
    }

    printf("Get ERODE_STREAM Success...\n");
    fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, opencv_erode_h264_file);
    RK_MPI_MB_ReleaseBuffer(mb);
  }

  return NULL;
}

int main()
{
  int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = 1920;                  // Width
  vi_chn_attr.u32Height = 1080;                 // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = 1920;
  venc_chn_attr.stVencAttr.u32PicHeight = 1080;
  venc_chn_attr.stVencAttr.u32VirWidth = 1920;
  venc_chn_attr.stVencAttr.u32VirHeight = 1080;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = 1920 * 1080 * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("ERROR: Start Vi failed.....!\n");
    return -1;
  }
  else
  {
    printf("SUCCESS: Start Vi success.....!\n");
  }

  pthread_t pid;
  pthread_create(&pid, NULL, opencv_vi_erode_thread, NULL);//腐蚀处理线程
  pthread_create(&pid, NULL, get_venc_stream_thread, NULL);//获取VENC线程

  while (1)
  {
    sleep(2);
  }

  RK_MPI_VENC_DestroyChn(VENC_CHN);
  RK_MPI_VI_DisableChn(CAMERA_ID, CAMERA_CHN);

  return 0;
}

2.5.实验结果

经过上面的编码后，我们来看看输出的H264文件。这个视频流明显更加暗淡，并且细节都变小了，包括手的部分、脸的部分等等。

相关推荐
hughnz4 小时前
AI和自动化让油田钻工慢慢消失
大数据·人工智能
jay神5 小时前
大米杂质检测数据集（YOLO格式）
人工智能·深度学习·yolo·目标检测·毕业设计
GIS数据转换器5 小时前
延凡低成本低空无人机AI巡检方案
大数据·人工智能·信息可视化·数据挖掘·无人机
流云枫5 小时前
把小说变成短视频/漫画——全流程技术复盘
人工智能
飞Link5 小时前
【AI大模型实战】万字长文肝透大语言模型(LLM)：从底层原理解析到企业级Python项目落地
开发语言·人工智能·python·语言模型·自然语言处理
TechMasterPlus5 小时前
OpenClaw 源码深度解析：下一代 AI Agent 框架的架构设计与实现原理
人工智能
不完备智能5 小时前
🦌 DeerFlow 2.0 深度解析：字节跳动开源的"超级 Agent harness"架构揭秘
人工智能
阿木木AEcru5 小时前
DeepSeek 崩了 13 小时，不是故障，是 V4 在换引擎
人工智能
小小工匠5 小时前
Superpowers - 09 从构思到落地：如何用「计划编写与任务粒度」驾驭 AI 时代的软件开发
人工智能·skills·superpowers
阿聪谈架构5 小时前
第07章（下）：LangGraph 工作流进阶 —— 检查点、人工介入与多 Agent 协作
人工智能·后端
热门推荐
012026年4月技术前沿：AI大模型爆发、智能体革命与量子安全新纪元02GitHub 镜像站点03一周AI热点速览（2026.03.31-04.06）：GPT-6曝光、谷歌开源Gemma 4、资本狂飙与模型军备竞赛04基于 Docker 部署 Hermes Agent 并接入飞书机器人的完整指南05免费！不限量！用opencode接入英伟达（NVIDIA）大模型，轻松打造你的 AI 编程助手06AI Weekly | 2026年4月第二周 · GitHub热门项目与AI发展趋势深度解析07Oh My Codex 快速使用指南08CodeBuddy与WorkBuddy深度对比：腾讯两款AI工具差异及实操指南09从限购到畅通：GLM-5.1 Coding Plan接入攻略10UV安装并设置国内源