RV1126 NO.48:RV1126+OPENCV在视频中添加时间戳

一.RV1126+OPENCV在视频中添加时间戳大体流程图

本实战章节将基于RV1126平台，通过结合视频流与OpenCV API实现实时时间戳叠加功能。核心流程包括：获取视频流、叠加时间戳字符串、H264编码及数据存储。具体实现步骤如下：

初始化并启用VI和VENC模块
创建两个并行工作线程：

视频处理线程(opencv_vi_text_thread)：
1. 获取VI原始数据
2. 格式化实时时间戳字符串
3. 转换为OpenCV Mat对象
4. 使用putText API叠加文本
5. 将处理后的视频帧发送至VENC编码器
码流保存线程(get_venc_stream_thread)：
1. 从VENC编码器获取H264码流数据
2. 将编码数据写入H264文件

二.RV1126+OPENCV在视频中添加实时时间戳代码实现

代码的实现如下，我们来看看具体的代码:

2.1. RV1126模块初始化并启动VI工作

cpp 复制代码

int ret;
  VI_CHN_ATTR_S vi_chn_attr;
  vi_chn_attr.pcVideoNode = CAMERA_PATH;        // Path
  vi_chn_attr.u32Width = WIDTH;                 // Width
  vi_chn_attr.u32Height = HEIGHT;               // Height
  vi_chn_attr.enPixFmt = IMAGE_TYPE_NV12;       // ImageType
  vi_chn_attr.enBufType = VI_CHN_BUF_TYPE_MMAP; // BufType
  vi_chn_attr.u32BufCnt = 3;                    // Cnt
  vi_chn_attr.enWorkMode = VI_WORK_MODE_NORMAL; // Mode
  ret = RK_MPI_VI_SetChnAttr(CAMERA_ID, CAMERA_CHN, &vi_chn_attr);
  if (ret)
  {
    printf("Vi Set Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Set Attr Success.....\n");
  }

  ret = RK_MPI_VI_EnableChn(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("Vi Enable Attr Failed.....\n");
    return 0;
  }
  else
  {
    printf("Vi Enable Attr Success.....\n");
  }

  VENC_CHN_ATTR_S venc_chn_attr;
  memset(&venc_chn_attr, 0, sizeof(VENC_CHN_ATTR_S));
  venc_chn_attr.stVencAttr.u32PicWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32PicHeight = HEIGHT;
  venc_chn_attr.stVencAttr.u32VirWidth = WIDTH;
  venc_chn_attr.stVencAttr.u32VirHeight = HEIGHT;
  venc_chn_attr.stVencAttr.imageType = IMAGE_TYPE_NV12;
  venc_chn_attr.stVencAttr.enType = RK_CODEC_TYPE_H264;
  venc_chn_attr.stVencAttr.u32Profile = 66;
  venc_chn_attr.stRcAttr.enRcMode = VENC_RC_MODE_H264CBR;
  venc_chn_attr.stRcAttr.stH264Cbr.u32Gop = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32BitRate = WIDTH * HEIGHT * 3;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.fr32DstFrameRateNum = 25;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateDen = 1;
  venc_chn_attr.stRcAttr.stH264Cbr.u32SrcFrameRateNum = 25;
  ret = RK_MPI_VENC_CreateChn(VENC_CHN, &venc_chn_attr);
  if (ret)
  {
    printf("ERROR: Create venc failed!\n");
    exit(0);
  }

  ret = RK_MPI_VI_StartStream(CAMERA_ID, CAMERA_CHN);
  if (ret)
  {
    printf("start vi failed....\n");
  }
  else
  {
    printf("start vi success....\n");
  }

这段代码实现了RV1126模块的初始化流程，主要包含以下几个关键步骤：

VI模块初始化（RK_MPI_VI_SetChnAttr）
启用VI模块通道（RK_MPI_VI_EnableChn）
VENC模块创建通道（RK_MPI_VENC_CreateChn）
启动VI数据流（RK_MPI_VI_StartStream）

由于相关参数设置已在前期课程中详细介绍，此处不再赘述。

2.2. opencv_vi_text_thread线程的讲解

cpp 复制代码

//VI数据和时间戳添加处理线程
void *opencv_text_vi_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;

  int font_face = cv::FONT_HERSHEY_COMPLEX;
  double fontScale = 2.0;

  while (1)
  {
    //获取VI模块的数据
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VI, CAMERA_CHN, -1);//把VI数据转换成Mat矩阵
    if (!mb)
    {
      printf("Get vi break.....\n");
      break;
    }

    printf("Get vi Success...\n");
    Mat time_mat = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));//把VI数据转换成Mat矩阵

    time_t g_time;
    tm *p;

    time(&g_time);//获取系统时间
    p = gmtime(&g_time);//把系统时间转换成格林威治时间，并标准化
    char date_ptr[100];
    sprintf(date_ptr, "%4d-%2d-%2d %2d:%2d:%2d", 1900 + p->tm_year, 1 + p->tm_mon, p->tm_mday, 8 + p->tm_hour, p->tm_min, p->tm_sec);//把标准化的数据转换成字符串,包括年(1900 + tm_year)月(tm_mon+1)日(tm_day)时(tm_hour + 8)分(tm_min)秒(tm_src)

    string date = date_ptr;
    Point text_point;
    text_point.x = 100;
    text_point.y = 100;

    putText(time_mat, date, text_point, font_face, fontScale, Scalar(0, 0, 0), 2, 8, false);//把字符串显示到Mat矩阵
    RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);//把处理后的VI数据传输给VENC编码器
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }
}

以下是OpenCV_VI_TEXT_THREAD线程的主要处理流程：

数据获取阶段
- 调用RK_MPI_SYS_GetMediaBuffer接口获取VI视频原始数据帧
时间处理阶段
- 获取系统时间并使用gmtime转换为格林威治时间
- 格式化时间字符串："%4d-%2d-%2d %2d:%2d:%2d"
  - 年份：1900 + p->tm_year
  - 月份：1 + p->tm_mon
  - 日期：p->tm_mday
  - 小时：8 + p->tm_hour（校正北京时间）
  - 分钟：p->tm_min
  - 秒数：p->tm_sec
图像处理阶段
- 使用OpenCV Mat构造器转换视频帧：
  cpp 复制代码
```
Mat tmp_img = Mat(HEIGHT, WIDTH, CV_8UC1, RK_MPI_MB_GetPtr(mb));
```
  参数说明：
  - HEIGHT: 1080
  - WIDTH: 1920
  - 图像格式: CV_8UC1
  - 数据指针: RK_MPI_MB_GetPtr(mb)
- 调用putText添加时间戳：
  cpp 复制代码
```
cv::putText(tmp_img, date_text, origin, font_face, font_scale, 
           cv::Scalar(0, 0, 0), thickness, 8, 0);
```
数据发送阶段
- 将处理后的视频帧发送至H264编码器：
  cpp 复制代码
```
RK_MPI_SYS_SendMediaBuffer(RK_ID_VENC, VENC_CHN, mb);
```

2.3. get_venc_stream_thread线程的讲解

cpp 复制代码

//获取视频流
void *get_venc_stream_thread(void *args)
{
  pthread_detach(pthread_self());
  MEDIA_BUFFER mb = NULL;
  FILE * time_opencv_file = fopen("test_opencv_time.h264", "w+");

  while (1)
  {
    mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, VENC_CHN, -1);//获取VENC编码器数据
    if (!mb)
    {
      printf("Get venc break.....\n");
      break;
    }

    fwrite(RK_MPI_MB_GetPtr(mb), RK_MPI_MB_GetSize(mb), 1, time_opencv_file);//保存数据
    RK_MPI_MB_ReleaseBuffer(mb);//释放资源
  }
}

以下是该线程的具体实现：主要通过RK_MPI_SYS_GetMediaBuffer接口获取H264编码帧数据，并通过fwrite函数写入文件。关键代码示例如下：mb = RK_MPI_SYS_GetMediaBuffer(RK_ID_VENC, 0, -1);。

2.4.最终结果

这张图片展示了在RV1126的视频数据中嵌入时间字符串的操作，并将文字居中显示在画面中央。

需要注意：由于开发板默认系统时间为1970年，需要先通过以下命令手动设置正确日期：

bash 复制代码

date -s "2024-1-27 12:15:35"