RK3588之ArmSoM-W3 + MPP实现多路硬解码拉流

简介

  • 学习完MPP的解码Demo之后,想必大家都想通过一个项目来进行RK3588-MPP的解码实战。
  • 本篇文章就基于ArmSoM-W3开发板,开发一个多路硬解码项目,实现四路MPP硬解码拉流显示
  • 实现的效果如下:

RK3588四路MPP硬解码拉流

环境介绍

  • 硬件环境:

    ArmSoM-W3 RK3588开发板

  • 软件版本:

    OS:ArmSoM-W3 Debian11

思路:

ArmSoM-W3 + QT+FFmpeg +RTSP+ MPP实现多路硬解码拉流

  • mpp对外接口是输入MppPacket结构体指针:MppPacket *

    那么,MppPacket 数据从哪里来?

  • 通过FFmpeg进行拉流,拉RTSP流解封装为AVPacket数据类型,然后传给mpp进行硬解码

    bash 复制代码
     1.首先由ffmpeg完成拉流工作获取到AVPacket。
    
     2.MPP接收到AVPacket数据然后转换成MppPacket再进行硬解码。
    
     3.MPP解码之后交给rga负责图片格式转换裁切等工作。
    
     4.交给qt渲染显示。

1. FFmpeg打开MP4格式文件或者进行拉流获取到AVPacket

核心代码:

cpp 复制代码
AVPacket *av_packet = nullptr;
av_packet = (AVPacket *)av_malloc(sizeof(AVPacket));

char filepath[] = "rtsp://admin:armsom@80.0.0.211:854/armsomvideo";// rtsp 地址

avformat_open_input(&pFormatCtx, filepath, nullptr, &options)    //打开多媒体流,并且获取一些信息

 //读取一帧数据存到av_packet,av_packet是FFmpeg和MMP的数据互通接口
av_read_frame(pFormatCtx, av_packet) 

2. MPP获取到从FFmpeg传过来的AVPacket 数据然后进行硬解码

核心代码:

cpp 复制代码
//将FFmpeg拉流获取到的av_packet数据通过函数参数传给MPP进行硬解码
int MppDecode::decode_simple(MppDecode::MpiDecLoopData *data, AVPacket *av_packet)
{
	MPP_RET ret = MPP_OK;
	MppPacket packet = nullptr;
    MppFrame  frame  = nullptr;

   //将AVPacket 数据转换为MppPacket数据 (实际上是MppPacket  ->data =  AVPacket  ->data)
    ret = mpp_packet_init(&packet, av_packet->data, av_packet->size); 
	mpp_packet_set_pts(packet, av_packet->pts);
	mpp_packet_set_dts(packet, av_packet->dts);
	
	// 输入MppPacket,输出MppFrame
	mpi->decode_put_packet(ctx, packet)
	mpi->decode_get_frame(ctx, &frame)
}

3. MPP解码之后交给rga负责图片格式转换裁切等工作

  • 从MPP解码后获得的数据是YUV_420sp类型。我们用RGA将其转换成RGB888的数据数据格式方便QT显示

4. qt渲染显示

  • qt渲染方面可以通过lable或者OpenGL来显示

5. 更多项目设计详情请前往ArmSoM官方论坛进行讨论

ArmSoM 产品介绍: http://wiki.armsom.org/index.php/ArmSoM-w3

ArmSoM 技术论坛: http://forum.armsom.org/

相关推荐
国科安芯36 分钟前
FPGA上电偶发不启动:多轨电源时序、PGOOD与并联供电的FAE排查笔记——ASP4644S2B在星载智能处理板中的工程应用分析
笔记·单片机·嵌入式硬件·fpga开发·低轨卫星·抗辐射
国科安芯13 小时前
卫星控制板偶发复位:MCU供电、时钟、ECC与总线的联合定位——AS32S601ZIT2在星载控制单元中的FAE排查方法
单片机·嵌入式硬件·mcu·risc-v·抗辐射·通信芯片
慧都产品智能化1 天前
Qt 开发 CAD/CAM 工序表的隐性成本分析
c++·qt·qt5·qt6.3
陌上花开缓缓归以1 天前
linux核间通信和中断
arm开发
合尘猫1 天前
用 6GB 显卡搭短视频产线:MiniMax H3 + ffmpeg 全流程实录(55 秒片 / 40 分钟)
人工智能·音视频
创界工坊工作室1 天前
106-基于51单片机的自行车测速仪设计
stm32·单片机·嵌入式硬件·51单片机·proteus
JonaHu1 天前
博客转视频总返工?用章节清单、样片和 FFmpeg 搭一条可控流水线
ffmpeg·ai视频·内容创作·acedatacloud
意法半导体STM321 天前
【官方原创】LAT1726 如何通过STM32H5 Bootloader进行固件升级与运行
stm32·单片机·嵌入式硬件·stm32h5·bootloader
橘为己有4411 天前
STM32:串口_重定向CIO(3)
stm32·单片机·嵌入式硬件
少司府2 天前
嵌入式外设篇(二)GPIO·二:GPIO输出与LED控制
linux·stm32·单片机·嵌入式硬件·mcu·51单片机·系统