在国产芯片上实现YOLOv5/v8图像AI识别-【4.2】RK3588获取USB摄像头图像推流RTSP更多内容见视频

本专栏主要是提供一种国产化图像识别的解决方案,专栏中实现了YOLOv5/v8在国产化芯片上的使用部署,并可以实现网页端实时查看。根据自己的具体需求可以直接产品化部署使用。

B站配套视频:https://www.bilibili.com/video/BV1or421T74f

前言

在实际生产过程中,有很多时候不光是通过网络获取rtsp视频流,通常会采用在板子上插上USB摄像头获取画面。

今天我将向搭建演示该如何通过USB获取画面后推流出RTSP视频流。

本课程相关代码以开源在V8的项目中,有开源链接的朋友可以重新拉取一下代码。

前期准备

首先我们需要确定一下基本原理,usb的获取和推流到rtsp是这里面存在编码不一致的问题。

通常我们会采用opencv获取usb摄像头的画面然后进行推理,这时候图像是RGB编码的。

而推流到RTSP中就变成了YUV编码,那自然就会想到RK3588的固有能力,硬件编码器MPP。

那RTSP的推流我们就选择官方推荐的ZLMediakit来实现。正题结构如下所示:
opencv yolo mpp mpp ZLMediakit USB RGBimg 推理画面 YUVimg RTSP

下载和编译zlmediakit、mpp

代码讲解查看视频 https://www.bilibili.com/video/BV1or421T74f](https://www.bilibili.com/video/BV1or421T74f

bash 复制代码
cd ZLMediaKit
git submodule init
git submodule update
cmake . -B build && cmake --build build -j4
cd ../mpp
cmake . -B build && cmake --build build -j4
cp ./submodules/mpp/build/utils/libutils.a libs/
cp ./submodules/ZLMediaKit/release/linux/Debug/libmk_api.so libs/

源码核心部分

cpp 复制代码
int process_video_file(rknn_app_context_t *ctx, const char *video_path)
{
    // 读取视频
    cv::VideoCapture cap(video_path);
    if (!cap.isOpened())
    {
        printf("Failed to open video file: %s", video_path);
    }
    // 获取视频尺寸、帧率
    int cap_width = cap.get(cv::CAP_PROP_FRAME_WIDTH);
    int cap_height = cap.get(cv::CAP_PROP_FRAME_HEIGHT);
    int fps = cap.get(cv::CAP_PROP_FPS);

    ctx->media = mk_media_create("__defaultVhost__", ctx->push_path_first.c_str(), ctx->push_path_second.c_str(), 0, 0, 0);
    codec_args v_args = {0};
    mk_track v_track = mk_track_create(MKCodecH264, &v_args);
    mk_media_init_track(ctx->media, v_track);
    mk_media_init_complete(ctx->media);
    mk_media_set_on_regist(ctx->media, on_mk_media_source_regist_func, ctx);
    // 初始化编码器
    MppEncoder *mpp_encoder = new MppEncoder();
    MppEncoderParams enc_params;
    memset(&enc_params, 0, sizeof(MppEncoderParams));
    enc_params.width = cap_width;
    enc_params.height = cap_height;
    enc_params.fmt = MPP_FMT_YUV420SP;
    enc_params.type = MPP_VIDEO_CodingAVC;
    mpp_encoder->Init(enc_params, ctx);
    ctx->encoder = mpp_encoder;
    // mpp编码配置
    void *mpp_frame = NULL;
    int mpp_frame_fd = 0;
    void *mpp_frame_addr = NULL;
    int enc_data_size;
    int frame_index = 0;
    int ret = 0;

    // 画面
    cv::Mat img;

    while (true)
    {
        // 读取视频帧
        cap >> img;
        if (img.empty())
        {
            printf("Video end.");
            break;
        }
        frame_index++;
        // 结束计时
        auto end_time = std::chrono::high_resolution_clock::now();
        // 将当前时间点转换为毫秒级别的时间戳
        auto millis = std::chrono::time_point_cast<std::chrono::milliseconds>(end_time).time_since_epoch().count();

        mpp_frame = ctx->encoder->GetInputFrameBuffer();
        mpp_frame_fd = ctx->encoder->GetInputFrameBufferFd(mpp_frame);
        mpp_frame_addr = ctx->encoder->GetInputFrameBufferAddr(mpp_frame);
        rga_buffer_t src = wrapbuffer_fd(mpp_frame_fd, cap_width, cap_height, RK_FORMAT_YCbCr_420_SP);
        int enc_buf_size = ctx->encoder->GetFrameSize();
        char *enc_data = (char *)malloc(enc_buf_size);
        rga_buffer_t rgb_img = wrapbuffer_virtualaddr((void *)img.data, cap_width, cap_height, RK_FORMAT_BGR_888);
        // 将RGB图像复制到src中
        imcopy(rgb_img, src);
        if (frame_index == 1)
        {
            enc_data_size = ctx->encoder->GetHeader(enc_data, enc_buf_size);
        }
        // 内存初始化
        memset(enc_data, 0, enc_buf_size);
        enc_data_size = ctx->encoder->Encode(mpp_frame, enc_data, enc_buf_size);
        ret = mk_media_input_h264(ctx->media, enc_data, enc_data_size, millis, millis);
        if (ret != 1)
        {
            printf("mk_media_input_frame failed\n");
        }
    }
    cap.release();
}

代码讲解查看视频https://www.bilibili.com/video/BV1or421T74f

相关推荐
阿坡RPA5 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049935 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心5 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI7 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c8 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得2058 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清8 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh9 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员9 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物9 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技