目录
- 1、前言
- 2、相关方案推荐
- 3、详细设计方案
-
- 设计框图
- FPGA开发板
- 解压视频源
- [Zynq UltraScale+ VCU](#Zynq UltraScale+ VCU)
- [Video Frame Buffer Read](#Video Frame Buffer Read)
- [Video Mixer](#Video Mixer)
- [HDMI 1.4/2.0 Transmitter Subsystem](#HDMI 1.4/2.0 Transmitter Subsystem)
- [Video PHY Controller](#Video PHY Controller)
- [PetaLinux 系统制作](#PetaLinux 系统制作)
- 工程源码架构
- 4、Vivado工程源码详解
- 5、工程移植说明
- 6、上板调试验证并演示
- 7、福利:工程源码获取
FPGA基于VCU的H265视频解压缩,解码后HDMI2.0输出,支持4K60帧,提供工程源码+开发板+技术支持
1、前言
Xilinx Zynq UltraScale+ ZUEV系列FPGA自带VCU视频编解码功能,VCU有以下特点:
• 支持多达 32 个流的同步编码和解码 (最大聚合带宽为3840x2160 @ 60fps)
• 低时延速率控制
• 灵活的速率控制:CBR、 VBR 和常量 QP
• 支持分辨率高达 4K UHD @ 60 Hz 的同步编码和解码
• 支持 8 K UHD (~15 Hz) 的降低帧速率
本设计采用Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩,输入视频源使用实现准备好的一段.ts的压缩视频,并将视频文件存放在TF卡中;启动开发板后,Linux系统会读取.ts的压缩视频,然后将其拷贝到Zynq UltraScale+的PS侧DDR4中;然后然后调用Xilinx官方的Zynq UltraScale+ VCU IP核做H265解压缩压缩操作并将解码后的视频回灌到DDR4中缓存;然后调用Xilinx官方的Video Frame Buffer Read IP核将图像从PS侧的DDR4中读出输出到下一级;然后调用Xilinx官方的Video Mixer IP核将图像加上背景合并输出到下一级;然后调用Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核做4K高清视频的编码工作并输出到下一级,不包含音频流;然后调用Xilinx官方的Video PHY Controller IP核接收4K输入视频做串转换工作,将原来的并行信号转为高速串行信号,输出HDMI2.0接口,最后送显示器显示即可;
本设计提供资源如下:
• 提供一套XCZU4EV开发板
• 提供一套Vivado2020.2版本的工程源码
• 提供一套编译好的固件,可启动Linux系统
本博客详细描述了Xilinx系列Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA基于VCU的H265视频解压缩的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
免责声明
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
2、相关方案推荐
我这里已有的视频图像编解码方案
我这里有图像的JPEG解压缩、JPEG-LS压缩、H264编解码、H265编解码以及其他方案,后续还会出更多方案,我把他们整合在一个专栏里面,会持续更新,专栏地址:
直接点击前往
4K60帧HDMI2.0输入,H265视频压缩方案
前面出过一篇博客,介绍了4K60帧HDMI2.0输入,然后H265视频压缩的方案,博客链接如下
专栏地址:
直接点击前往
3、详细设计方案
设计框图
本设计使用的工程详细设计方案框图如下:
FPGA开发板
本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发,本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案,需要其他方案的朋友可以在博客末尾联系到本UP,现有开发板方案如下:
1-->Xilinx Kintxe7 FPGA开发板;
2-->Xilinx Kintxe7 UltraScale FPGA开发板;
3-->Xilinx Kintxe7 UltraScale+ FPGA开发板;
4-->Xilinx Virtxe7 FPGA开发板;
5-->Zynq UltraScale FPGA开发板;
6-->Zynq UltraScale+ FPGA开发板(本博客使用到的);
关于本博客使用的这款开发板详细信息,请参考我之前的博客,对这块开发板感兴趣的朋友可以咨询本UP获得;博客链接如下:
点击直接前往
解压视频源
事先准备一个.ts的压缩视频,网上有MP4转TS的教程,并将视频文件复制到Linux启动TF卡中,如图:
Zynq UltraScale+ VCU
Zynq UltraScale+ VCU是Xilinx Zynq UltraScale+ ZUEV系列FPGA才有的IP,可以实现最高4K60帧的视频压缩和解压,IP的官方文档是《PG252》,读者可以自行前往阅读,Zynq UltraScale+ VCU配置如下:
输入视频格式为YUV420,最高分辨率配置为4K60帧;
Video Frame Buffer Read
Video Frame Buffer Read相当于精简版的VDMA,只具有视频从DDR读出的功能,与VDMA相比具有YUV视频读出的功能,配置如下:
在Linux设计中可以对视频写入的基地址进行配置,通过终端指令配置;
Video Mixer
采用Xilinx官方的Video Mixer IP核实现视频背景叠加,Video Mixer最多只能实现16路视频拼接,Video Mixer的资源消耗截图如下:
Video Mixer IP配置如下:这里配置为最高4K;
在Linux设计中可以对输入视频进行缩放,通过终端指令配置缩放视频分辨率;
关于Video Mixer的详细用法,请参考我之前的博客,博客地址如下:
点击直接前往
HDMI 1.4/2.0 Transmitter Subsystem
用XIlinx方案做4K HDMI视频收发必须要用到此IP,HDMI 1.4/2.0 Transmitter Subsystem配置如下:
关于HDMI 1.4/2.0 Transmitter Subsystem发送HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往
Video PHY Controller
用XIlinx方案做4K HDMI2.0视频收发必须要用到此IP,Video PHY Controller IP核主要做解串和串化的工作,利用FPGA GT资源,即利用GTH;在接收端接收4K 高清视频并做解串工作,将原来高速串行信号解为3路20bit的AXI4-Stream并行数据,在发送端做4K 高清视频并做串化工作,将原3路20bit的AXI4-Stream并行数据串化为高速串行信号;Video PHY Controller配置如下:
关于Video PHY Controller收发HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往
PetaLinux 系统制作
PetaLinux版本为2020.2,提供一套编译好的固件,文件复制到TF卡后,可启动Linux系统;
工程源码架构
工程源码架构包括vivado Block Design逻辑设计和PetaLiux软件设计;
Block Design逻辑设计架构截图如下:
综合后的源码架构如下:
4、Vivado工程源码详解
开发板FPGA型号:Xilinx--Zynq UltraScale+MPSoCs--xczu4ev-sfvc784-2-i;
开发环境:Vivado2020.2;
输入:.ts压缩视频,分辨率1080P @60Hz;
输出:HDMI2.0,分辨率1080P @60Hz;
视频解压缩方案:Zynq UltraScale+ VCU--H265;
工程源码架构请参考前面第3章节中的《工程源码架构》小节;
工程作用:此工程目的是让读者掌握FPGA基于VCU的H265视频解压缩的设计能力,以便能够移植和设计自己的项目;
工程的资源消耗和功耗如下:
5、工程移植说明
vivado版本不一致处理
1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;
2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件-->另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;
3:如果你的vivado版本高于本工程vivado版本,解决如下:
打开工程后会发现IP都被锁住了,如下:
此时需要升级IP,操作如下:
FPGA型号不一致处理
如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:
更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;
其他注意事项
1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;
2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;
3:纯FPGA移植到Zynq需要在工程中添加zynq软核;
6、上板调试验证并演示
准备工作
FPGA开发板,推荐使用本博的开发板;
显示器;
开发板连接如下:
插上TF卡,然后将串口线和网线连接到电脑,安装串口驱动,资料包中已经提供,上电;
配置Xshell
我们使用Xshell连接开发板模拟Linux终端的操作,Xshell配置如下:
查询显示器分辨率
首先需要查询与开发板连接的显示器支持的做大分辨率,输入指令如下:
• 终端指令:modetest -D a0000000.v_mix
配置输出分辨率
然后配置输出分辨率,这个分辨率必须和上面查到的显示器分辨率相适应,不然无法显示;
• 终端指令:modetest -D a0000000.v_mix -s 38:1920x1080-60@BG24
H265解压视频并播放
然后可执行H265解压视频操作,并输出HDMI接口;
• 终端指令:gst-launch-1.0 uridecodebin uri="file:///mnt/sd-mmcblk1p1/record.ts" ! queue max-size-bytes=0 ! kmssink
bus-id="a0000000.v_mix"
连接HDMI线到显示器即可播放;
H265解压视频输出演示
播放H265解压视频演示:
FPGA实现H265视频解压
7、福利:工程源码获取
福利:工程代码的获取
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下: