【视频转码】基于RK3588的视频转码探索

传统的视频转码服务基本都是基于X86下CPU、GPU转码,对硬件性能、功耗、成本来说都比较高。从技术角度来说现有视频转码技术有:

视频编码转变:

  1. H.264 => H.265 保持视频分辨率、清晰度不变情况下,更改视频压缩方式,可以有效降低码率、视频帧率,更适合网络传输。

  2. H.265 => H.264 保持视频分辨率、清晰度不变情况下,更改视频压缩方式,对一些播放条件要求的进行转换,如WebRTC下无法播放H265视频流,这时就是需要进行视频转码。

  3. H.264 => H.264 保持视频分辨率不变情况下,一般用来降低码流、帧率的方式进行视频压缩,使之更适合更低速率的网络进行视频传输。

  4. H.265 => H.265 保持视频分辨率不变情况下,一般用来降低码流、帧率的方式进行视频压缩,使之更适合更低速率的网络进行视频传输。

使用技术:

分析市场上产品来看,几乎都在使用ffmpeg来进行视频的编解码、转码,再加上ffmpeg的技术迭代更新比较迅速,技术研发者都比较熟悉其API调用,可以通过少量命令参数、PIPELINE等方式即可进行硬件性能的调用(CUDA、QSV、Vaapi、vdupa等等)。

改变:

通过技术预研,硬件分析等发现基于瑞芯微3588的方案,目前还比较适合用来做视频编解码,本身RK3588的VPU支持最多16路1080P@25fps的编码和解码(同编同解)。编解码侧有rkmpp的sdk,图片缩放有RGA。

同样也可以使用ffmpeg的api接口来进行调用,github上有位大佬集成了mpp和rga链接ffmpeg with rockchip,通过此分支利用无缝的把X86上的程序迁移至arm上运行。

Decoders/Hwaccel:

bash 复制代码
V..... av1_rkmpp            Rockchip MPP (Media Process Platform) AV1 decoder (codec av1)
 V..... h263_rkmpp           Rockchip MPP (Media Process Platform) H263 decoder (codec h263)
 V..... h264_rkmpp           Rockchip MPP (Media Process Platform) H264 decoder (codec h264)
 V..... hevc_rkmpp           Rockchip MPP (Media Process Platform) HEVC decoder (codec hevc)
 V..... mpeg1_rkmpp          Rockchip MPP (Media Process Platform) MPEG1VIDEO decoder (codec mpeg1video)
 V..... mpeg2_rkmpp          Rockchip MPP (Media Process Platform) MPEG2VIDEO decoder (codec mpeg2video)
 V..... mpeg4_rkmpp          Rockchip MPP (Media Process Platform) MPEG4 decoder (codec mpeg4)
 V..... vp8_rkmpp            Rockchip MPP (Media Process Platform) VP8 decoder (codec vp8)
 V..... vp9_rkmpp            Rockchip MPP (Media Process Platform) VP9 decoder (codec vp9)

Encoders:

bash 复制代码
 V..... h264_rkmpp           Rockchip MPP (Media Process Platform) H264 encoder (codec h264)
 V..... hevc_rkmpp           Rockchip MPP (Media Process Platform) HEVC encoder (codec hevc)

Filters:

bash 复制代码
... overlay_rkrga     VV->V      Rockchip RGA (2D Raster Graphic Acceleration) video compositor
 ... scale_rkrga       V->V       Rockchip RGA (2D Raster Graphic Acceleration) video resizer and format converter
 ... vpp_rkrga         V->V       Rockchip RGA (2D Raster Graphic Acceleration) video post-process (scale/crop/transpose)
相关推荐
ai产品老杨2 小时前
驱动物流创新与协同,助力物流行业可持续发展的智慧物流开源了
人工智能·开源·音视频·能源
xingxing_F3 小时前
SoundSource for Mac 音频控制工具
macos·音视频
音视频牛哥4 小时前
AI+ 行动意见解读:音视频直播SDK如何加速行业智能化
人工智能·音视频·人工智能+·ai+ 行动意见·rtsp/rtmp 播放器·低空经济视频链路·工业巡检视频传输
BUG创建者6 小时前
uni 拍照上传拍视频上传以及相册
前端·javascript·音视频
无线图像传输研究探索7 小时前
无定位更安全:5G 高清视频终端的保密场景适配之道
5g·安全·音视频·无人机·5g单兵图传·单兵图传·无人机图传
音视频牛哥7 小时前
音视频技术全景:从采集到低延迟播放的完整链路解析
音视频·gb28181·rtsp播放器·rtmp播放器·gb28181-2022·rtmp摄像头推流·rtsp转rtmp推送
菜鸟的日志7 小时前
【音频字幕】构建一个离线视频字幕生成系统:使用 WhisperX 和 Faster-Whisper 的 Python 实现
python·whisper·音视频
Antonio9159 小时前
【音视频】WebRTC P2P、SFU 和 MCU 架构
音视频·webrtc·p2p
山河君10 小时前
webrtc之高通滤波——HighPassFilter源码及原理分析
算法·音视频·webrtc·信号处理
音视频牛哥1 天前
打造一款高稳定、低延迟、跨平台RTSP播放器的技术实践
音视频·rtsp播放器·rtsp player·rtsp播放器录像·rtsp h.265·rtsp hevc·rtsp播放器h.265