FPGA基于VCU的H265视频解压缩,解码后HDMI2.0输出,支持4K60帧,提供工程源码+开发板+技术支持

目录

FPGA基于VCU的H265视频解压缩,解码后HDMI2.0输出,支持4K60帧,提供工程源码+开发板+技术支持

1、前言

Xilinx Zynq UltraScale+ ZUEV系列FPGA自带VCU视频编解码功能,VCU有以下特点:

• 支持多达 32 个流的同步编码和解码 (最大聚合带宽为3840x2160 @ 60fps)

• 低时延速率控制

• 灵活的速率控制:CBR、 VBR 和常量 QP

• 支持分辨率高达 4K UHD @ 60 Hz 的同步编码和解码

• 支持 8 K UHD (~15 Hz) 的降低帧速率

本设计采用Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA做基于VCU的H265视频压缩,输入视频源使用实现准备好的一段.ts的压缩视频,并将视频文件存放在TF卡中;启动开发板后,Linux系统会读取.ts的压缩视频,然后将其拷贝到Zynq UltraScale+的PS侧DDR4中;然后然后调用Xilinx官方的Zynq UltraScale+ VCU IP核做H265解压缩压缩操作并将解码后的视频回灌到DDR4中缓存;然后调用Xilinx官方的Video Frame Buffer Read IP核将图像从PS侧的DDR4中读出输出到下一级;然后调用Xilinx官方的Video Mixer IP核将图像加上背景合并输出到下一级;然后调用Xilinx官方的HDMI 1.4/2.0 Transmitter Subsystem IP核做4K高清视频的编码工作并输出到下一级,不包含音频流;然后调用Xilinx官方的Video PHY Controller IP核接收4K输入视频做串转换工作,将原来的并行信号转为高速串行信号,输出HDMI2.0接口,最后送显示器显示即可;

本设计提供资源如下:

• 提供一套XCZU4EV开发板

• 提供一套Vivado2020.2版本的工程源码

• 提供一套编译好的固件,可启动Linux系统

本博客详细描述了Xilinx系列Zynq UltraScale+MPSoCs--XCZU4EV的高端型号FPGA基于VCU的H265视频解压缩的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;

提供完整的、跑通的工程源码和技术支持;

工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

我这里已有的视频图像编解码方案

我这里有图像的JPEG解压缩、JPEG-LS压缩、H264编解码、H265编解码以及其他方案,后续还会出更多方案,我把他们整合在一个专栏里面,会持续更新,专栏地址:
直接点击前往

4K60帧HDMI2.0输入,H265视频压缩方案

前面出过一篇博客,介绍了4K60帧HDMI2.0输入,然后H265视频压缩的方案,博客链接如下

专栏地址:
直接点击前往

3、详细设计方案

设计框图

本设计使用的工程详细设计方案框图如下:

FPGA开发板

本UP主有下列FPGA开发板均可实现4K@60Hz视频 HDMI2.0的收发,本博客仅仅是介绍了其中Zynq UltraScale+系列的开发板实现方案,需要其他方案的朋友可以在博客末尾联系到本UP,现有开发板方案如下:

1-->Xilinx Kintxe7 FPGA开发板;

2-->Xilinx Kintxe7 UltraScale FPGA开发板;

3-->Xilinx Kintxe7 UltraScale+ FPGA开发板;

4-->Xilinx Virtxe7 FPGA开发板;

5-->Zynq UltraScale FPGA开发板;

6-->Zynq UltraScale+ FPGA开发板(本博客使用到的);

关于本博客使用的这款开发板详细信息,请参考我之前的博客,对这块开发板感兴趣的朋友可以咨询本UP获得;博客链接如下:
点击直接前往

解压视频源

事先准备一个.ts的压缩视频,网上有MP4转TS的教程,并将视频文件复制到Linux启动TF卡中,如图:

Zynq UltraScale+ VCU

Zynq UltraScale+ VCU是Xilinx Zynq UltraScale+ ZUEV系列FPGA才有的IP,可以实现最高4K60帧的视频压缩和解压,IP的官方文档是《PG252》,读者可以自行前往阅读,Zynq UltraScale+ VCU配置如下:

输入视频格式为YUV420,最高分辨率配置为4K60帧;

Video Frame Buffer Read

Video Frame Buffer Read相当于精简版的VDMA,只具有视频从DDR读出的功能,与VDMA相比具有YUV视频读出的功能,配置如下:

在Linux设计中可以对视频写入的基地址进行配置,通过终端指令配置;

Video Mixer

采用Xilinx官方的Video Mixer IP核实现视频背景叠加,Video Mixer最多只能实现16路视频拼接,Video Mixer的资源消耗截图如下:

Video Mixer IP配置如下:这里配置为最高4K;

在Linux设计中可以对输入视频进行缩放,通过终端指令配置缩放视频分辨率;

关于Video Mixer的详细用法,请参考我之前的博客,博客地址如下:
点击直接前往

HDMI 1.4/2.0 Transmitter Subsystem

用XIlinx方案做4K HDMI视频收发必须要用到此IP,HDMI 1.4/2.0 Transmitter Subsystem配置如下:

关于HDMI 1.4/2.0 Transmitter Subsystem发送HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往

Video PHY Controller

用XIlinx方案做4K HDMI2.0视频收发必须要用到此IP,Video PHY Controller IP核主要做解串和串化的工作,利用FPGA GT资源,即利用GTH;在接收端接收4K 高清视频并做解串工作,将原来高速串行信号解为3路20bit的AXI4-Stream并行数据,在发送端做4K 高清视频并做串化工作,将原3路20bit的AXI4-Stream并行数据串化为高速串行信号;Video PHY Controller配置如下:

关于Video PHY Controller收发HDMI2.0的用法,请参考我之前的博客,博客地址如下:
点击直接前往

PetaLinux 系统制作

PetaLinux版本为2020.2,提供一套编译好的固件,文件复制到TF卡后,可启动Linux系统;

工程源码架构

工程源码架构包括vivado Block Design逻辑设计和PetaLiux软件设计;

Block Design逻辑设计架构截图如下:

综合后的源码架构如下:

4、Vivado工程源码详解

开发板FPGA型号:Xilinx--Zynq UltraScale+MPSoCs--xczu4ev-sfvc784-2-i;

开发环境:Vivado2020.2;

输入:.ts压缩视频,分辨率1080P @60Hz;

输出:HDMI2.0,分辨率1080P @60Hz;

视频解压缩方案:Zynq UltraScale+ VCU--H265;

工程源码架构请参考前面第3章节中的《工程源码架构》小节;

工程作用:此工程目的是让读者掌握FPGA基于VCU的H265视频解压缩的设计能力,以便能够移植和设计自己的项目;

工程的资源消耗和功耗如下:

5、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;

2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件-->另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;

3:如果你的vivado版本高于本工程vivado版本,解决如下:

打开工程后会发现IP都被锁住了,如下:

此时需要升级IP,操作如下:

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:


更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;

2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;

3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

6、上板调试验证并演示

准备工作

FPGA开发板,推荐使用本博的开发板;

显示器;

开发板连接如下:

插上TF卡,然后将串口线和网线连接到电脑,安装串口驱动,资料包中已经提供,上电;

配置Xshell

我们使用Xshell连接开发板模拟Linux终端的操作,Xshell配置如下:

查询显示器分辨率

首先需要查询与开发板连接的显示器支持的做大分辨率,输入指令如下:

• 终端指令:modetest -D a0000000.v_mix

配置输出分辨率

然后配置输出分辨率,这个分辨率必须和上面查到的显示器分辨率相适应,不然无法显示;

• 终端指令:modetest -D a0000000.v_mix -s 38:1920x1080-60@BG24

H265解压视频并播放

然后可执行H265解压视频操作,并输出HDMI接口;

• 终端指令:gst-launch-1.0 uridecodebin uri="file:///mnt/sd-mmcblk1p1/record.ts" ! queue max-size-bytes=0 ! kmssink

bus-id="a0000000.v_mix"

连接HDMI线到显示器即可播放;

H265解压视频输出演示

播放H265解压视频演示:

FPGA实现H265视频解压

7、福利:工程源码获取

福利:工程代码的获取

代码太大,无法邮箱发送,以某度网盘链接方式发送,

资料获取方式:私,或者文章末尾的V名片。

网盘资料如下:

相关推荐
我喜欢就喜欢10 小时前
基于qt vs下的视频播放
开发语言·qt·音视频
bigbig猩猩10 小时前
FPGA(现场可编程门阵列)的时序分析
fpga开发
安步当歌11 小时前
【WebRTC】视频采集模块中各个类的简单分析
音视频·webrtc·视频编解码·video-codec
EasyGBS11 小时前
国标GB28181公网直播EasyGBS国标GB28181软件管理解决方案
大数据·网络·音视频·媒体·视频监控·gb28181
Johnstons14 小时前
AnaTraf | 网络性能监控系统保障音视频质量的秘籍
网络·音视频·网络流量监控·网络流量分析·npmd
lrlianmengba14 小时前
推荐一款非常好用的视频编辑软件:Movavi Video Editor Plus
音视频
SZ17011023114 小时前
ffplay 实现视频流中音频的延迟
音视频·延迟
Terasic友晶科技15 小时前
第2篇 使用Intel FPGA Monitor Program创建基于ARM处理器的汇编或C语言工程<二>
fpga开发·汇编语言和c语言
LNTON羚通16 小时前
CPU算法分析LiteAIServer视频智能分析平台视频智能分析:抖动、过亮与过暗检测技术
大数据·目标检测·音视频·视频监控
码农阿豪16 小时前
基于Zynq FPGA对雷龙SD NAND的测试
fpga开发·sd nand·spi nand·spi nand flash·工业级tf卡·嵌入式tf卡