前 言
本文档聚焦于RK3562处理器的视频图像处理框架与处理能力。同时，通过详细的视频开发案例演示基于RK3562的视频开发流程，旨在助力用户高效、精准地评估该芯片在视频处理领域的性能表现。
开发环境
Windows开发环境：Windows7 64bit、Windows10 64bit
Linux开发环境：VMware16.2.5、Ubuntu20.04.6 64bit
sysroot：rk3562-Tronlong-Desktop-20.04-sysroot-[版本号].tar.gz
系统版本：Tronlong-Desktop 20.04（类Ubuntu）、Linux-5.10.209、U-Boot-2017.09
备注：本文基于2GByte LPDDR4X、16GByte eMMC配置单板机进行演示。
术语表
为便于阅读，下表对文档出现的关键术语进行解释；对于广泛认同释义的术语，在此不做注释。
注意事项
（1）无特殊说明情况下，本文默认从eMMC启动系统，使用DEBUG作为调试串口，使用欣瑞达的XT070YTA23R_A6 LVDS电阻屏作为显示输出。
图 1
（2）请先参考《应用开发手册》的"开发环境搭建说明"章节完成应用开发环境搭建。
（3）我司提供的视频图像处理开发案例存放于产品资料的"4-软件资料\Demo\platform-demos\"目录。为方便您系统了解相关案例信息，下表对本文所涉及的全部视频案例的测试结果进行了汇总，同时亦标注出每个案例所适配的视频模块型号。
1视频图像处理框架
本章节主要介绍RK3562J/RK3562平台的视频图像处理框架。由于RK3562J和RK3562芯片的引脚和外设资源均一致，因此下述以RK3562处理器为例进行说明。
图 2
为方便说明RK3562的视频图像处理框架，下文将相关视频接口和协处理器划分为以下5个部分：
（1）视频图像输入
接口：MIPI CSI RX、PCIe2.1；
协处理器：VICAP(Video Input Processor)，ISP(Image Signal Processor)。
（2）视频图像输出
接口：LVDS、MIPI DSI TX、RGB/BT656/BT1120；
协处理器：VOP(Video Output Processor)。
（3）视频图像Graphics Engine
2D协处理器：2D Graphics Engine；
3D协处理器：GPU Mali-G52-2EE。
（4）视频图像编解码
协处理器：VPU(Video Process Unit)。
（5）视频图像视觉算法加速
协处理器：NPU(Neural Process Unit)、GPGPU（General Purpose computing on GPU，同上述GPU Mali-G52-2EE）。
1.1视频图像输入
1.1.1MIPI CSI RX接口
（1）兼容MIPI接口规范V1.2
（2）支持4Lane，最高2.5Gbps/Lane
（3）支持MIPI-HS，MIPI-LP模式
（4）支持的模式
Camera x2：2 MIPI CSI DPHY (4 Lane)
Camera x4：4 MIPI CSI DPHY (2 Lane)
常见视频输入数据量理论带宽及Lane数量要求：
备注：以下评估结果不含数据传输协议相关开销，协议开销约为几个百分点。
Raw8下1920x1080@60fps数据量为1920 x 1080 x 1 x 8 x 60 / 10^9 ≈ 0.99Gbps 1 Lane
YUV422下1920x1080@60fps数据量为1920 x 1080 x 2 x 8 x 60 / 10^9 ≈ 1.99Gbps 1 Lane
Raw8下UHD 3840x2160@60fps数据量为3840 x 2160 x 1 x 8 x 60 / 10^9 ≈ 3.98Gbps 2 Lane
YUV422下UHD 3840x2160@60fps数据量为3840 x 2160 x 2 x 8 x 60 / 10^9 ≈ 7.96Gbps 4 Lane
以OV13850摄像头为例，该摄像头的视频输入数据量理论带宽及Lane数量要求如下：
根据OV13850数据手册说明，使用4个Lane时最大输出为4224x3136@30fps Raw10。此时，总数据量约为4224 x 3136 x 1 x 10 x 30 / 10^9 ≈ 3.974 Gbps，平摊至4个Lane约0.99Gbps/Lane，小于2.5Gbps/Lane。
其它：
使用Raw格式输入时，还应考虑ISP的处理能力。
1.1.2VICAP
Video Input Processor，从MIPI CSI RX接收Camera图像数据。
（1）输入接口
最多同时支持4路接入：MIPI CSI RX x 4
（2）支持输出输入MIPI CSI数据（格式：RAW8/10/12/14、YUV422）
（3）支持输出RAW数据、YUV数据（格式：NV16/NV12/YUV400/YUYV）
（4）支持直接发送RAW数据到ISP
1.1.3ISP
Dual Pipe ISP，从VICAP接收Camera图像并进行图像处理。
（1）输入接口
最多同时支持4路接入。
（2）图像数据处理能力
13M：4224x3136@30fps。
1.1.4PCIe接口
（1）PCIe 2.1（与USB3.0复用Multi-PHY）
支持RC模式，1Lane；
最大理论带宽：5Gbps（支持1920x1080@60fps RGB24视频输入，数据量约为2.985Gbps）。
备注：PCIe接口常用于接收来自FPGA端的图像输入。
1.2视频图像输出
VOP会从内存中读取视频数据和UI数据进行缩放、裁剪、图层叠加等处理，然后将数据发送至不同显示接口进行图像的显示。VOP的处理及接口能力决定了最终的图像输出能力。
（1）RGB Parallel Display
2048x1080@60fps。
（2）BT656/BT1120
BT1120：支持1920x1080/I输出；
BT656：支持720x576/I输出。
（3）MIPI DSI TX
2048x1080@60fps。
（4）LVDS
800x1280@60fps。
1.3视频图像编解码
1.3.1视频解码
1.3.2视频编码
1.3.3JPEG解码
（1）最高支持65536x65536分辨率（429500万像素）。
1.3.4JPEG编码
（1）最高支持8192x8192分辨率；
（2）性能可达每秒9000万像素。
1.4视频图像Graphics Engine
1.4.12D Graphics Engine
2D Graphics Engine是一个2D图形处理加速引擎，可实现图像的旋转，缩放，裁剪，混合和RGB/YUV转换等。主要特性如下：
（1）输入：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV/YUV422SP10bit/YUV420SP10bit(YUV-8bits out)，最大8192x8192；
（2）输出：ARGB/RGB888/RGB565/RGB4444/RGB5551/YUV420/YUV422/YUYV，最大4096x4096；
（3）旋转：90/180/270度；
（4）镜像：x-mirror、y-mirror；
（5）Alpha Blending功能支持：per pixel alpha和fading。
1.4.2Mali-G52-2EE
Mali-G52-2EE支持2D/3D图形处理加速。主要特性如下：
3D API支持：OpenGLES 1.1/2.0/3.2、Vulkan1.0/1.1、OpenCL 2.0 Full Profile。
1.5视频图像视觉算法加速
1.5.1NPU(Neural Process Unit)
NPU是一个神经网络推理加速引擎。主要特性如下：
（1）算力1 TOPS；
（2）支持INT4/INT8/INT16/FP16；
（3）支持的深度学习框架：TensorFlow，Caffe，Pytorch，MXNet等。
1.5.2GPGPU(General Purpose computing on GPU)
Mali-G52-2EE亦为GPGPU，通过OpenCL进行通用计算，可实现计算加速和神经网络推理加速。
计算加速：OpenCL 2.0 Full Profile；
神经网络推理加速：TVM（基于OpenCL），使用参考：https://tvm.apache.org/docs。
1.6单板机视频接口说明
（1）视频图像输入
MIPI CSI RX接口：
PCIe接口：
支持FPGA基于PCIe 2.1 1Lane RC/EP的视频输入测试。
（2）视频图像输出
单板机板载2个视频输出接口：LVDS LCD、MIPI LCD。我司软件系统对视频输出接口配置如下，且系统默认按"配置一"进行配置，如需使用其它配置，需修改Linux设备树。
