rknn3588 rstp yolov5

目录

rknn3588官网

只有linux支持rtsp,代码:

Android支持h264裸流,不支持rtsp码流实时运算

[笔者实现了Android rtsp yolov5实时检测 50帧](#笔者实现了Android rtsp yolov5实时检测 50帧)

更换yolov5模型

ffmpegrtsp转264裸流

ndk下载:

格式RK_FORMAT_YCbCr_420_SP:

android系统rtsp读流进行算法识别

设置权限

依赖项:

[返回 opencv yuv](#返回 opencv yuv)

rknn输入数据转换

这个是Ubuntu系统的:


rknn3588官网

rknn-toolkit2/rknpu2/examples/rknn_yolov5_demo/utils/mpp_decoder.cpp at 77b71094e08391c543d9c65fea5f7cf98cc16eee · airockchip/rknn-toolkit2 · GitHub

只有linux支持rtsp,代码:

if(ZLMEDIAKIT_LIBS)

add_definitions(-DBUILD_VIDEO_RTSP)

endif()

cpp 复制代码
#if defined(BUILD_VIDEO_RTSP)
    process_video_rtsp(&app_ctx, video_name);
#else
    printf("rtsp no support\n");
#endif

Android支持h264裸流,不支持rtsp码流实时运算

rknn-toolkit2/rknpu2/examples/rknn_yolov5_demo at 77b71094e08391c543d9c65fea5f7cf98cc16eee · airockchip/rknn-toolkit2 · GitHub

笔者实现了Android rtsp yolov5实时检测 50帧

下载地址:

https://download.csdn.net/download/jacke121/89197233

更换yolov5模型

代码地址:

cpp/postprocess.cc

label地址 类别数 anchors

cpp 复制代码
#define LABEL_NALE_TXT_PATH "/storage/emulated/0/Android/data/com.rockchip.gpadc.yolodemo/files/coco_2_labels.txt"

static char *labels[OBJ_CLASS_NUM];

int anchor0[6] = {25, 59, 18, 99, 57, 76};
int anchor1[6] = {32, 164, 62, 217, 147, 165};
int anchor2[6] = {85, 388, 179, 457, 421, 368};

用的模型是yolov5 relu版

ffmpegrtsp转264裸流

ffmpeg -i rtsp://admin:xxx@192.168.1.6:554/ch1/main/av_stream -vcodec copy -an -f h264 output.h264

ndk下载:

ffmpeg编译android平台-(ubuntu+ndkr16b+ffmpeg3.4.12)_android-ndk-r16b-CSDN博客

格式RK_FORMAT_YCbCr_420_SP:

cpp 复制代码
  origin = wrapbuffer_fd(fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);
  src = wrapbuffer_fd(mpp_frame_fd, width, height, RK_FORMAT_YCbCr_420_SP, width_stride, height_stride);

android系统rtsp读流进行算法识别

设置权限

bash 复制代码
<manifest xmlns:android="http://schemas.android.com/apk/res/android"
    package="your.package.name">

    <!-- 网络通信权限 -->
    <uses-permission android:name="android.permission.INTERNET"/>

    <!-- 检查网络状态权限 -->
    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/>

    <!-- 外部存储读写权限 -->
    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/>
    <uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE"/>

</manifest>

依赖项:

ffmpeg

mpp

返回 opencv yuv

FFmpegMPPDecoder/src/H264MPPDecoder.cpp at main · Done4/FFmpegMPPDecoder · GitHub

cpp 复制代码
    RK_U32 h_stride = mpp_frame_get_hor_stride(frame);
        RK_U32 v_stride = mpp_frame_get_ver_stride(frame);
        MppBuffer buffer = mpp_frame_get_buffer(frame);

        cv::Mat yuvImg(height * 3/2, width, CV_8UC1);
        RK_U8 *base = (RK_U8 *)mpp_buffer_get_ptr(buffer);
        RK_U8 *base_c = base + h_stride * v_stride;
        int idx = 0;
        for (int i = 0; i < height; i++, base += h_stride, idx += width) 
        {
            memcpy(yuvImg.data + idx, base, width);
        }
        for (int i = 0; i < height / 2; i++, base_c += h_stride, idx += width) 
        {
            memcpy(yuvImg.data + idx, base_c, width);
        }

rknn输入数据转换

cpp 复制代码
    g_rga_src = wrapbuffer_virtualaddr((void *)inDataRaw, img_width, img_height,
                                       RK_FORMAT_RGBA_8888);

    // convert color format and resize. RGA8888 -> RGB888
    ret = imresize(g_rga_src, g_rga_dst);

输入数据:

cpp 复制代码
#if ZERO_COPY
#else
    rknn_input inputs[1];
    inputs[0].index = 0;
    inputs[0].type = RKNN_TENSOR_UINT8;
    inputs[0].size = m_in_width * m_in_height * m_in_channel;
    inputs[0].fmt = RKNN_TENSOR_NHWC;
    inputs[0].pass_through = 0;
    inputs[0].buf = g_rga_dst.vir_addr;
#ifdef EVAL_TIME
    gettimeofday(&start_time, NULL);
#endif
    rknn_inputs_set(ctx, 1, inputs);

这个是Ubuntu系统的:

rk3399pro硬解码(vpu,rtsp)使用 - 简书

https://download.csdn.net/download/weixin_44277869/87771089

相关推荐
恋猫de小郭4 小时前
Meta 宣布加入 Kotlin 基金会,将为 Kotlin 和 Android 生态提供全新支持
android·开发语言·ios·kotlin
aqi004 小时前
FFmpeg开发笔记(七十七)Android的开源音视频剪辑框架RxFFmpeg
android·ffmpeg·音视频·流媒体
androidwork6 小时前
深入解析内存抖动:定位与修复实战(Kotlin版)
android·kotlin
梦天20156 小时前
android核心技术摘要
android
szhangbiao8 小时前
“开发板”类APP如果做屏幕适配
android
高林雨露9 小时前
RecyclerView中跳转到最后一条item并确保它在可视区域内显示
android
移动开发者1号11 小时前
ReLinker优化So库加载指南
android·kotlin
山野万里__11 小时前
C++与Java内存共享技术:跨平台与跨语言实现指南
android·java·c++·笔记
Huckings11 小时前
Android 性能问题
android
移动开发者1号12 小时前
剖析 Systrace:定位 UI 线程阻塞的终极指南
android·kotlin