Xilinx系列FPGA实现HDMI2.1视频收发,支持8K@60Hz分辨率,提供2套工程源码和技术支持

目录

Xilinx系列FPGA实现HDMI2.1视频收发,支持8K@60Hz分辨率,提供2套工程源码和技术支持

1、前言

Xilinx系列FPGA实现8K视频收发现状:

目前Xilinx系列FPGA实现提供了多种8K视频收发方案;对于纯FPGA而言,需要用到GT高速接口资源实现编解码,但要求UltraScale+及其以上系列FPGA,以HDMI2.1为例,Xilinx官方提供了基于Video PHY Controller为核心的一整套HDMI2.1收发方案,此外,还可以直接使用GT高速接口IP核配置为GT-HDMI编解码模式,或者配置为DP编解码模式;对于Zynq-UltraScale+系列FPGA而言,既可以使用PL端的GT高速接资源做8K视频收发,也可以使用PS端的DP外设做8K视频收发;本博主擅长Xilinx-UltraScale+系列FPGA实现HDMI2.1视频收发方案设计,本设计采用基于Video PHY Controller为核心的一整套HDMI2.1收发方案,最高支持3840x2160@120Hz或者7680×4320@60Hz;

工程概述

本设计基于Xilinx系列FPGA的GT告诉接口实现HDMI2.1工程解决方案,最高支持3840x2160@120Hz或者7680×4320@60Hz;基于目前市场主流需求,本设计共设计了HDMI2.1接收发送工程,最高支持3840x2160@120Hz或者7680×4320@60Hz;

使用Xilinx-UltraScale+系列FPGA 的GT高速接口资源做3840x2160@120Hz或者7680×4320@60Hz的HDMI2.1视频收发实验;8K视频输入源使用专用视频发生器或者机顶盒,将输入设备分辨率设置为3840x2160@120Hz或者7680×4320@60Hz,然后用HDMI2.1线缆连接至FPGA开发板的HDMI2.1输入接口;然后经过FPGA开发板板载的NB7NQ621M或者其他同等功能的重定时器芯片实现恢复和重定时高速信号;然后输入差分视频信号直接连到FPGA的GT高速BANK上;然后调用Xilinx官方的Video PHY Controller IP核接收HDMI2.1输入视频并做串并转换工作,将原来高速串行信号解串为4路40bit的AXI4-Stream并行数据;然后调用Xilinx官方的HDMI 2.1 Receiver Subsystem IP核做8K超清视频的解码工作,同时解码出AXI4-Stream流的音频流和视频流;解码后的AXI4-Stream视频流进入Xilinx官方的TPG IP核,该IP在没有外部AXI4-Stream视频流进入时输出彩条视频,否则输出外部AXI4-Stream视频;同时解码后的AXI4-Stream音频流进入Xilinx官方的音频模块;至此,HDMI2.1的接收解码工作已经完成,此时可以对解码后的视频进行个性化处理了,比如缓存、缩放、卷积之类的,本工程做回环输出操作;然后Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核做8K音视频的编码工作,可同时编码视频流和音频流,并输出4路AXI4-Stream流和DDC控制信号;4路AXI4-Stream流进入前面调用的Video PHY Controller IP核做8K视频并串转化工作,将原4路20bit的AXI4-Stream并行数据串化为高速串行信号,输出的差分视频数据信号直接从FPGA的GT高速BANK输出,差分时钟信号直接从FPGA的LVDS高速BANK输出,HDMI2.1高速差分信号再进入FPGA开发板板载的NB7NQ621M或其他同等功能的驱动芯片,以增强高速信号的输出驱动能力;最后使用HDMI2.1线缆连接至显示器即可输出显示3840x2160@120Hz或者7680×4320@60Hz视频;

上述IP和IC需要SDK或者vitis配置,所以需要调用MicroBlaze或者Zynq软核;针对目前市面上主流的项目需求,本博客共设计了2套工程源码,详情如下:

现对上述2套工程源码做如下解释,方便读者理解:

工程源码1

开发板FPGA型号为Xilinx-Zynq UltraScale+ xczu7ev-ffvc1156-2-i;8K视频输入源使用专用视频发生器或者机顶盒,将输入设备分辨率设置为3840x2160@120Hz或者7680×4320@60Hz,然后用HDMI2.1线缆连接至FPGA开发板的HDMI2.1输入接口;然后经过FPGA开发板板载的NB7NQ621M或者其他同等功能的重定时器芯片实现恢复和重定时高速信号;然后输入差分视频信号直接连到FPGA的GT高速BANK上;然后调用Xilinx官方的Video PHY Controller IP核接收HDMI2.1输入视频并做串并转换工作,将原来高速串行信号解串为4路40bit的AXI4-Stream并行数据;然后调用Xilinx官方的HDMI 2.1 Receiver Subsystem IP核做8K超清视频的解码工作,同时解码出AXI4-Stream流的音频流和视频流;解码后的AXI4-Stream视频流进入Xilinx官方的TPG IP核,该IP在没有外部AXI4-Stream视频流进入时输出彩条视频,否则输出外部AXI4-Stream视频;同时解码后的AXI4-Stream音频流进入Xilinx官方的音频模块;至此,HDMI2.1的接收解码工作已经完成,此时可以对解码后的视频进行个性化处理了,比如缓存、缩放、卷积之类的,本工程做回环输出操作;然后Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核做8K音视频的编码工作,可同时编码视频流和音频流,并输出4路AXI4-Stream流和DDC控制信号;4路AXI4-Stream流进入前面调用的Video PHY Controller IP核做8K视频并串转化工作,将原4路20bit的AXI4-Stream并行数据串化为高速串行信号,输出的差分视频数据信号直接从FPGA的GT高速BANK输出,差分时钟信号直接从FPGA的LVDS高速BANK输出,HDMI2.1高速差分信号再进入FPGA开发板板载的NB7NQ621M或其他同等功能的驱动芯片,以增强高速信号的输出驱动能力;最后使用HDMI2.1线缆连接至显示器即可输出显示3840x2160@120Hz或者7680×4320@60Hz视频;本设计使用UltraScale-GTH高速接口,适用于Xilinx-UltraScale+系列FPGA实现HDMI2.1视频收发应用;

工程源码2

开发板FPGA型号为Xilinx-Zynq UltraScale+ xczu19eg-ffvc1760-2-i;8K视频输入源使用专用视频发生器或者机顶盒,将输入设备分辨率设置为3840x2160@120Hz或者7680×4320@60Hz,然后用HDMI2.1线缆连接至FPGA开发板的HDMI2.1输入接口;然后经过FPGA开发板板载的NB7NQ621M或者其他同等功能的重定时器芯片实现恢复和重定时高速信号;然后输入差分视频信号直接连到FPGA的GT高速BANK上;然后调用Xilinx官方的Video PHY Controller IP核接收HDMI2.1输入视频并做串并转换工作,将原来高速串行信号解串为4路40bit的AXI4-Stream并行数据;然后调用Xilinx官方的HDMI 2.1 Receiver Subsystem IP核做8K超清视频的解码工作,同时解码出AXI4-Stream流的音频流和视频流;解码后的AXI4-Stream视频流进入Xilinx官方的TPG IP核,该IP在没有外部AXI4-Stream视频流进入时输出彩条视频,否则输出外部AXI4-Stream视频;同时解码后的AXI4-Stream音频流进入Xilinx官方的音频模块;至此,HDMI2.1的接收解码工作已经完成,此时可以对解码后的视频进行个性化处理了,比如缓存、缩放、卷积之类的,本工程做回环输出操作;然后Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核做8K音视频的编码工作,可同时编码视频流和音频流,并输出4路AXI4-Stream流和DDC控制信号;4路AXI4-Stream流进入前面调用的Video PHY Controller IP核做8K视频并串转化工作,将原4路20bit的AXI4-Stream并行数据串化为高速串行信号,输出的差分视频数据信号直接从FPGA的GT高速BANK输出,差分时钟信号直接从FPGA的LVDS高速BANK输出,HDMI2.1高速差分信号再进入FPGA开发板板载的NB7NQ621M或其他同等功能的驱动芯片,以增强高速信号的输出驱动能力;最后使用HDMI2.1线缆连接至显示器即可输出显示3840x2160@120Hz或者7680×4320@60Hz视频;本设计使用UltraScale-GTH高速接口,适用于Xilinx-UltraScale+系列FPGA实现HDMI2.1视频收发应用;

本博客详细描述了Xilinx系列FPGA实现HDMI2.1视频收发的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;

提供完整的、跑通的工程源码和技术支持;

工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等),若大佬们觉得有所冒犯,请私信批评教育;部分模块源码转载自上述网络,版权归原作者所有,如有侵权请联系我们删除;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目

其实一直有朋友反馈,说我的博客文章太多了,乱花渐欲迷人,自己看得一头雾水,不方便快速定位找到自己想要的项目,所以本博文置顶,列出我目前已有的所有项目,并给出总目录,每个项目的文章链接,当然,本博文实时更新。。。以下是博客地址:
点击直接前往

我已有的4K/8K视频处理解决方案

我的主页有FPGA 4K/8K视频处专栏,该专栏有4K/8K视频处理,包括简单的4K/8K视频收发、4K/8K视频缩放、4K/8K视频拼接等等;以下是专栏地址:
点击直接前往

我已有的FPGA图像处理方案

我的主页目前有FPGA图像处理专栏,改专栏收录了我目前手里已有的FPGA图像处理方案,包括图像缩放、图像识别、图像拼接、图像融合、图像去雾、图像叠加、图像旋转、图像增强、图像字符叠加等等;以下是专栏地址:
点击直接前往

3、详细设计方案

设计框图

本设计使用的是Xilinx官方推荐的方案,该方案大致如下:

具体到本设计的工程详细设计方案框图如下:

硬件设计架构

8K HDMI2.1 硬件设计架构如下:

本博主提供FPGA HDMI2.1视频收发的参考原理图,为PDF版本,里面包含了详细的电路设计,可节省你的硬件开发时间,如下:

本HDMI2.1性能参数

Xilinx官方提供的HDMI2.1物理层架构包括GT控制器和收发子系统,总体而言性能很不错,具体如下:

1、包括HDMI 源端 (TX) 子系统和 HDMI 宿端 (RX) 子系统;

2、基于AXI4-Stream的 1、2 或 4 像素视频接口(即一个像素时钟传输几个像素);

3、内嵌自动视频时序生成;

4、独立的 PHY 和控制层有助于用户高度灵活地在接收与发送之间共享GT高速接口;

5、3840x2160@120Hz或者7680×4320@60Hz;

6、视频编码支持 RGB 4:4:4, YUV4:4:4, YUV 4:2:2 和 YUV 4:2:0;

7、视频深色支持(每像素 24、30、36 及 48 位);

8、支持HDR;

9、音频支持达 32 信道(包含 HBR 音频);

10、支持HDCP(HDCP1.4, HDCP2.2/2.3);

11、支持信息帧;

12、数据显示通道 (DDC);

13、支持热插拔/EDID(电平极性可选);

8K视频输入源

我用到的8K视频输入源为腾讯极光盒子6Pro,极光盒子输出分辨率设置为3840x2160@60Hz;如下:

Video PHY Controller

Video PHY Controller可做HDMI2.1视频的接收和发送的解串与串化;对于HDMI2.1视频接收而言,可将原来高速串行信号解串为4路40bit的AXI4-Stream并行数据;然后调用Xilinx官方的HDMI 2.1 Receiver Subsystem IP核做8K超清视频的解码工作,同时解码出AXI4-Stream流的音频流和视频流;对于HDMI2.1视频发送而言,可将原4路40bit的AXI4-Stream并行数据串化为高速串行信号,输出的差分视频数据信号直接从FPGA的GT高速BANK输出,差分时钟信号直接从FPGA的LVDS高速BANK输出;以HDMI2.1收发模式为例,Video PHY Controller配置如下:

该IP需要在Vitis SDK中做进一步详细配置,详情参考Vitis SDK C语言软件代码;

HDMI 2.1 Receiver Subsystem

Xilinx官方的HDMI 2.1 Receiver Subsystem IP核主要实现8K超清视频的解码工作,同时解码出AXI4-Stream流的音频流和视频流;HDMI 2.1 Receiver Subsystemr配置如下:

该IP需要在Vitis SDK中做进一步详细配置,详情参考Vitis SDK C语言软件代码;

值得注意的是,该IP使用的GT高速接口PLL类型一般选择CPLL;

8K HDMI 解码后的视频流走向

解码后的AXI4-Stream视频流进入Xilinx官方的TPG IP核,该IP在没有外部AXI4-Stream视频流进入时输出彩条视频,否则输出外部AXI4-Stream视频;同时解码后的AXI4-Stream音频流进入Xilinx官方的音频模块;TPG配合AXI-GPIO复位使用,IP组进行了封装,如下:

展开后以及TPG配置如下:

该IP需要在Vitis SDK中做进一步详细配置,详情参考Vitis SDK C语言软件代码;

8K HDMI 解码后的音频流走向

HDMI 2.1 Receiver Subsystem同时解码出AXI4-Stream格式的视频流和音频流,音频流输入Xilinx官方的音频生成模块(aud_pat_gen.v)和音频acr控制模块(hdmi_acr_ctrl.v),解码后的AXI4-Stream音频流进入这两个模块进行处理;两个模块进行了封装,如下:

展开后如下:

这两个模块需要在Vitis SDK中做进一步详细配置,详情参考Vitis SDK C语言软件代码;

HDMI 2.1 Transmitter Subsystem

调用Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核做8K音视频的编码工作,同时编码8K视频流和音频流并输出4路AXI4-Stream流和DDC控制信号;HDMI 2.1 Transmitter Subsystem配置如下:

该IP需要在Vitis SDK中做进一步详细配置,详情参考Vitis SDK C语言软件代码;

值得注意的是,该IP使用的GT高速接口PLL类型要根据TX端输入的参考时钟而定,具体要结合你的原理图设计考虑,并非固定配置,详情可咨询博主;

视频输出显示

视频输出显示需要支持3840x2160@120Hz或者7680×4320@60Hz,一般情况下,1千块以内的显示器是不支持的,我是用的是家里的电视机,品牌为小米电视大师 82" 至尊纪念版,你可以查询一下你的电视是否支持3840x2160@120Hz或者7680×4320@60Hz,此外,使用的HDMI线缆也必须支持3840x2160@120Hz或者7680×4320@60Hz,在保证显示线缆和显示器OK的情况下再做输出测试,可以解决很大部分调试排查时间;

vivado逻辑工程源码架构

工程源码架构包括vivado Block Design逻辑设计和vitis SDK软件设计;

以工程源码1为例,Block Design逻辑设计架构截图如下:

以工程源码1为例,综合后的源码架构如下:

vitis软件工程源码架构

Vitis软件代码如下:

!!!注意

!!!注意

代码为了兼容不同板卡的外围IC,所以代码显得冗余复杂,图中标记的为必须使用到的代码,大多数保持默认即可;3840x2160@120Hz或者7680×4320@60Hz选择如下:

4、工程源码1详解-->ZU7EV,HDMI2.1输入转输出版本

开发板FPGA型号:Xilinx-Zynq UltraScale+ xczu7ev-ffvc1156-2-i;

FPGA开发环境:Vivado2023.1;

输入:机顶盒,HDMI2.1,分辨率3840x2160@120Hz;

输出:小米电视,HDMI2.1,分辨率3840x2160@120Hz;

HDMI2.1物理层方案:Xilinx官方的Video PHY Controller IP核,使用UltraScale-GTH高速接口;

HDMI2.1协议层解码方案:Xilinx官方的HDMI 2.1 Receiver Subsystem IP核;

HDMI2.1协议层编码方案:Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核;

工程源码架构请参考前面第3章节中的《工程源码架构》小节;

工程作用:此工程目的是让读者掌握Xilinx系列FPGA实现HDMI2.1视频收发设计能力,以便能够移植和设计自己的项目;

工程的资源消耗和功耗如下:

5、工程源码2详解-->ZU19EG,HDMI2.1输入转输出版本

开发板FPGA型号:Xilinx-Zynq UltraScale+ xczu19eg-ffvc1760-2-i;

FPGA开发环境:Vivado2023.1;

输入:机顶盒,HDMI2.1,分辨率3840x2160@120Hz;

输出:小米电视,HDMI2.1,分辨率3840x2160@120Hz;

HDMI2.1物理层方案:Xilinx官方的Video PHY Controller IP核,使用UltraScale-GTH高速接口;

HDMI2.1协议层解码方案:Xilinx官方的HDMI 2.1 Receiver Subsystem IP核;

HDMI2.1协议层编码方案:Xilinx官方的HDMI 2.1 Transmitter Subsystem IP核;

工程源码架构请参考前面第3章节中的《工程源码架构》小节;

工程作用:此工程目的是让读者掌握Xilinx系列FPGA实现HDMI2.1视频收发设计能力,以便能够移植和设计自己的项目;

工程的资源消耗和功耗如下:

6、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;

2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件-->另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;

3:如果你的vivado版本高于本工程vivado版本,解决如下:

打开工程后会发现IP都被锁住了,如下:

此时需要升级IP,操作如下:

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:


更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;

2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;

3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

7、上板调试验证并演示

准备工作

FPGA开发板,推荐使用本博的开发板;

8K输入设备;

8K HDMI显示器或者电视;

HDMI线;

以工程源码1为例,开发板连接如下:

HDMI2.1视频收发演示

手里暂时没有8K输入设备,用4K输入暂做演示,HDMI2.1可向下兼容HDMI2.0,收发演示如下:

HDMI2.1-8K-收发

8、福利:工程源码获取

福利:工程代码的获取

代码太大,无法邮箱发送,以某度网盘链接方式发送,

资料获取方式:私,或者文章末尾的V名片。

网盘资料如下:

此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务:

相关推荐
18538162800余。34 分钟前
矩阵碰一碰发视频源码搭建技术解析
音视频
Yeauty7 小时前
Rust 中的高效视频处理:利用硬件加速应对高分辨率视频
开发语言·rust·ffmpeg·音视频·音频·视频
双料毒狼_s8 小时前
【FPGA实战】基于DE2-115实现数字秒表
fpga开发
winfredzhang9 小时前
Python视频标签工具详解:基于wxPython和FFmpeg的实现
python·ffmpeg·音视频·视频标签
EasyNVR9 小时前
视频分析设备平台EasyCVR视频结构化AI智能分析:筑牢校园阳光考场远程监控网
网络·音视频
Cynthia的梦13 小时前
FPGA学习-基于 DE2-115 板的 Verilog 分秒计数器设计与按键功能实现
fpga开发
zhslhm19 小时前
Moo0 VideoResizer,简单高效压缩视频!
音视频·视频压缩技巧·视频文件瘦身·数字媒体优化
花落已飘21 小时前
音视频基础(音视频的录制和播放原理)
音视频
大熊Superman1 天前
FPGA实现LED流水灯
fpga开发