FPGA基于VCU的H265视频解压缩,解码后HDMI2.0输出,支持4K60帧,提供工程源码+开发板+技术支持

目录

FPGA基于VCU的H265视频解压缩,解码后HDMI2.0输出,支持4K60帧,提供工程源码+开发板+技术支持

1、前言

Xilinx Zynq UltraScale+ ZUEV系列FPGA自带VCU视频编解码功能,VCU有以下特点:

• 支持多达 32 个流的同步编码和解码 (最大聚合带宽为3840x2160 @ 60fps)

• 低时延速率控制

• 灵活的速率控制:CBR、 VBR 和常量 QP

• 支持分辨率高达 4K UHD @ 60 Hz 的同步编码和解码

• 支持 8 K UHD (~15 Hz) 的降低帧速率

本设计采用Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩,输入视频源使用实现准备好的一段.ts的压缩视频,并将视频文件存放在TF卡中;启动开发板后,Linux系统会读取.ts的压缩视频,然后将其拷贝到Zynq UltraScale+的PS侧DDR4中;然后然后调用Xilinx官方的Zynq UltraScale+ VCU IP核做H265解压缩压缩操作并将解码后的视频回灌到DDR4中缓存;然后调用Xilinx官方的Video Frame Buffer Read IP核将图像从PS侧的DDR4中读出输出到下一级;然后调用Xilinx官方的Video Mixer IP核将图像加上背景合并输出到下一级;然后调用Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核做4K高清视频的编码工作并输出到下一级,不包含音频流;然后调用Xilinx官方的Video PHY Controller IP核接收4K输入视频做串转换工作,将原来的并行信号转为高速串行信号,输出HDMI2.0接口,最后送显示器显示即可;

本设计提供资源如下:

• 提供一套XCZU4EV开发板

• 提供一套Vivado2020.2版本的工程源码

• 提供一套编译好的固件,可启动Linux系统

本博客详细描述了Xilinx系列Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA基于VCU的H265视频解压缩的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;

提供完整的、跑通的工程源码和技术支持;

工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

我这里已有的视频图像编解码方案

我这里有图像的JPEG解压缩、JPEG-LS压缩、H264编解码、H265编解码以及其他方案,后续还会出更多方案,我把他们整合在一个专栏里面,会持续更新,专栏地址:
直接点击前往

4K60帧HDMI2.0输入,H265视频压缩方案

前面出过一篇博客,介绍了4K60帧HDMI2.0输入,然后H265视频压缩的方案,博客链接如下

专栏地址:
直接点击前往

3、详细设计方案

设计框图

本设计使用的工程详细设计方案框图如下:

FPGA开发板

本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发,本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案,需要其他方案的朋友可以在博客末尾联系到本UP,现有开发板方案如下:

1-->Xilinx Kintxe7 FPGA开发板;

2-->Xilinx Kintxe7 UltraScale FPGA开发板;

3-->Xilinx Kintxe7 UltraScale+ FPGA开发板;

4-->Xilinx Virtxe7 FPGA开发板;

5-->Zynq UltraScale FPGA开发板;

6-->Zynq UltraScale+ FPGA开发板(本博客使用到的);

关于本博客使用的这款开发板详细信息,请参考我之前的博客,对这块开发板感兴趣的朋友可以咨询本UP获得;博客链接如下:
点击直接前往

解压视频源

事先准备一个.ts的压缩视频,网上有MP4转TS的教程,并将视频文件复制到Linux启动TF卡中,如图:

Zynq UltraScale+ VCU

Zynq UltraScale+ VCU是Xilinx Zynq UltraScale+ ZUEV系列FPGA才有的IP,可以实现最高4K60帧的视频压缩和解压,IP的官方文档是《PG252》,读者可以自行前往阅读,Zynq UltraScale+ VCU配置如下:

输入视频格式为YUV420,最高分辨率配置为4K60帧;

Video Frame Buffer Read

Video Frame Buffer Read相当于精简版的VDMA,只具有视频从DDR读出的功能,与VDMA相比具有YUV视频读出的功能,配置如下:

在Linux设计中可以对视频写入的基地址进行配置,通过终端指令配置;

Video Mixer

采用Xilinx官方的Video Mixer IP核实现视频背景叠加,Video Mixer最多只能实现16路视频拼接,Video Mixer的资源消耗截图如下:

Video Mixer IP配置如下:这里配置为最高4K;

在Linux设计中可以对输入视频进行缩放,通过终端指令配置缩放视频分辨率;

关于Video Mixer的详细用法,请参考我之前的博客,博客地址如下:
点击直接前往

HDMI 1.4/2.0 Transmitter Subsystem

用XIlinx方案做4K HDMI视频收发必须要用到此IP,HDMI 1.4/2.0 Transmitter Subsystem配置如下:

关于HDMI 1.4/2.0 Transmitter Subsystem发送HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往

Video PHY Controller

用XIlinx方案做4K HDMI2.0视频收发必须要用到此IP,Video PHY Controller IP核主要做解串和串化的工作,利用FPGA GT资源,即利用GTH;在接收端接收4K 高清视频并做解串工作,将原来高速串行信号解为3路20bit的AXI4-Stream并行数据,在发送端做4K 高清视频并做串化工作,将原3路20bit的AXI4-Stream并行数据串化为高速串行信号;Video PHY Controller配置如下:

关于Video PHY Controller收发HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往

PetaLinux 系统制作

PetaLinux版本为2020.2,提供一套编译好的固件,文件复制到TF卡后,可启动Linux系统;

工程源码架构

工程源码架构包括vivado Block Design逻辑设计和PetaLiux软件设计;

Block Design逻辑设计架构截图如下:

综合后的源码架构如下:

4、Vivado工程源码详解

开发板FPGA型号:Xilinx--Zynq UltraScale+MPSoCs--xczu4ev-sfvc784-2-i;

开发环境:Vivado2020.2;

输入:.ts压缩视频,分辨率1080P @60Hz;

输出:HDMI2.0,分辨率1080P @60Hz;

视频解压缩方案:Zynq UltraScale+ VCU--H265;

工程源码架构请参考前面第3章节中的《工程源码架构》小节;

工程作用:此工程目的是让读者掌握FPGA基于VCU的H265视频解压缩的设计能力,以便能够移植和设计自己的项目;

工程的资源消耗和功耗如下:

5、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;

2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件-->另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;

3:如果你的vivado版本高于本工程vivado版本,解决如下:

打开工程后会发现IP都被锁住了,如下:

此时需要升级IP,操作如下:

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:


更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;

2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;

3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

6、上板调试验证并演示

准备工作

FPGA开发板,推荐使用本博的开发板;

显示器;

开发板连接如下:

插上TF卡,然后将串口线和网线连接到电脑,安装串口驱动,资料包中已经提供,上电;

配置Xshell

我们使用Xshell连接开发板模拟Linux终端的操作,Xshell配置如下:

查询显示器分辨率

首先需要查询与开发板连接的显示器支持的做大分辨率,输入指令如下:

• 终端指令:modetest -D a0000000.v_mix

配置输出分辨率

然后配置输出分辨率,这个分辨率必须和上面查到的显示器分辨率相适应,不然无法显示;

• 终端指令:modetest -D a0000000.v_mix -s 38:1920x1080-60@BG24

H265解压视频并播放

然后可执行H265解压视频操作,并输出HDMI接口;

• 终端指令:gst-launch-1.0 uridecodebin uri="file:///mnt/sd-mmcblk1p1/record.ts" ! queue max-size-bytes=0 ! kmssink

bus-id="a0000000.v_mix"

连接HDMI线到显示器即可播放;

H265解压视频输出演示

播放H265解压视频演示:

FPGA实现H265视频解压

7、福利:工程源码获取

福利:工程代码的获取

代码太大,无法邮箱发送,以某度网盘链接方式发送,

资料获取方式:私,或者文章末尾的V名片。

网盘资料如下:

相关推荐
小曲曲24 分钟前
接口上传视频和oss直传视频到阿里云组件
javascript·阿里云·音视频
安静读书3 小时前
Python解析视频FPS(帧率)、分辨率信息
python·opencv·音视频
佑华硬盘拷贝机3 小时前
音频档案批量拷贝:专业SD拷贝机解决方案
音视频
EasyNVR3 小时前
NVR管理平台EasyNVR多个NVR同时管理:全方位安防监控视频融合云平台方案
安全·音视频·监控·视频监控
xcLeigh10 小时前
HTML5超酷响应式视频背景动画特效(六种风格,附源码)
前端·音视频·html5
fei_sun11 小时前
【Verilog】第一章作业
fpga开发·verilog
深圳市雷龙发展有限公司longsto11 小时前
基于FPGA(现场可编程门阵列)的SD NAND图片显示系统是一个复杂的项目,它涉及硬件设计、FPGA编程、SD卡接口、NAND闪存控制以及图像显示等多个方面
fpga开发
韩曙亮12 小时前
【FFmpeg】FFmpeg 内存结构 ③ ( AVPacket 函数简介 | av_packet_ref 函数 | av_packet_clone 函数 )
ffmpeg·音视频·avpacket·av_packet_clone·av_packet_ref·ffmpeg内存结构
9527华安16 小时前
FPGA实现PCIE3.0视频采集转10G万兆UDP网络输出,基于XDMA+GTH架构,提供工程源码和技术支持
网络·fpga开发·udp·音视频·xdma·pcie3.0·万兆网
able陈16 小时前
为什么verilog中递归函数需要定义为automatic?
fpga开发