RK3588之ArmSoM-W3 + MPP实现多路硬解码拉流

简介

  • 学习完MPP的解码Demo之后,想必大家都想通过一个项目来进行RK3588-MPP的解码实战。
  • 本篇文章就基于ArmSoM-W3开发板,开发一个多路硬解码项目,实现四路MPP硬解码拉流显示
  • 实现的效果如下:

RK3588四路MPP硬解码拉流

环境介绍

  • 硬件环境:

    ArmSoM-W3 RK3588开发板

  • 软件版本:

    OS:ArmSoM-W3 Debian11

思路:

ArmSoM-W3 + QT+FFmpeg +RTSP+ MPP实现多路硬解码拉流

  • mpp对外接口是输入MppPacket结构体指针:MppPacket *

    那么,MppPacket 数据从哪里来?

  • 通过FFmpeg进行拉流,拉RTSP流解封装为AVPacket数据类型,然后传给mpp进行硬解码

    bash 复制代码
     1.首先由ffmpeg完成拉流工作获取到AVPacket。
    
     2.MPP接收到AVPacket数据然后转换成MppPacket再进行硬解码。
    
     3.MPP解码之后交给rga负责图片格式转换裁切等工作。
    
     4.交给qt渲染显示。

1. FFmpeg打开MP4格式文件或者进行拉流获取到AVPacket

核心代码:

cpp 复制代码
AVPacket *av_packet = nullptr;
av_packet = (AVPacket *)av_malloc(sizeof(AVPacket));

char filepath[] = "rtsp://admin:[email protected]:854/armsomvideo";// rtsp 地址

avformat_open_input(&pFormatCtx, filepath, nullptr, &options)    //打开多媒体流,并且获取一些信息

 //读取一帧数据存到av_packet,av_packet是FFmpeg和MMP的数据互通接口
av_read_frame(pFormatCtx, av_packet) 

2. MPP获取到从FFmpeg传过来的AVPacket 数据然后进行硬解码

核心代码:

cpp 复制代码
//将FFmpeg拉流获取到的av_packet数据通过函数参数传给MPP进行硬解码
int MppDecode::decode_simple(MppDecode::MpiDecLoopData *data, AVPacket *av_packet)
{
	MPP_RET ret = MPP_OK;
	MppPacket packet = nullptr;
    MppFrame  frame  = nullptr;

   //将AVPacket 数据转换为MppPacket数据 (实际上是MppPacket  ->data =  AVPacket  ->data)
    ret = mpp_packet_init(&packet, av_packet->data, av_packet->size); 
	mpp_packet_set_pts(packet, av_packet->pts);
	mpp_packet_set_dts(packet, av_packet->dts);
	
	// 输入MppPacket,输出MppFrame
	mpi->decode_put_packet(ctx, packet)
	mpi->decode_get_frame(ctx, &frame)
}

3. MPP解码之后交给rga负责图片格式转换裁切等工作

  • 从MPP解码后获得的数据是YUV_420sp类型。我们用RGA将其转换成RGB888的数据数据格式方便QT显示

4. qt渲染显示

  • qt渲染方面可以通过lable或者OpenGL来显示

5. 更多项目设计详情请前往ArmSoM官方论坛进行讨论

ArmSoM 产品介绍: http://wiki.armsom.org/index.php/ArmSoM-w3

ArmSoM 技术论坛: http://forum.armsom.org/

相关推荐
xMathematics3 小时前
计算机图形学实践:结合Qt和OpenGL实现绘制彩色三角形
开发语言·c++·qt·计算机图形学·cmake·opengl
byte轻骑兵3 小时前
【HFP】蓝牙HFP协议中音频连接转移与拨号功能的深度解析
音视频·蓝牙技术·hfp
星火撩猿6 小时前
ubantu中下载编译安装qt5.15.3
开发语言·qt
The Mr.Nobody8 小时前
STM32MPU开发之旅:从零开始构建嵌入式Linux镜像
linux·stm32·嵌入式硬件
邪恶的贝利亚8 小时前
一些有关ffmpeg 使用(1)
ffmpeg
阿川!8 小时前
嵌入式软件--stm32 DAY 3
stm32·单片机·嵌入式硬件
机器视觉知识推荐、就业指导9 小时前
开源QML控件:进度条滑动控件(含源码下载链接)
前端·qt·开源·qml
#金毛9 小时前
STM32的定时器输出PWM时,死区时间(DTR)如何计算
stm32·单片机·嵌入式硬件
Invinciblenuonuo10 小时前
STM32八股【6】-----CortexM3的双堆栈(MSP、PSP)设计
stm32·单片机·嵌入式硬件
RenderNow11 小时前
深耕ffmpeg系列之AVFrame
ffmpeg