FPGA高端项目:FPGA基于GS2971+GS2972架构的SDI视频收发+HLS多路视频融合叠加,提供1套工程源码和技术支持

目录

FPGA高端项目:FPGA基于GS2971+GS2972架构的SDI视频收发+HLS多路视频融合叠加,提供1套工程源码和技术支持

1、前言

目前FPGA实现SDI视频编解码有两种方案:一是使用专用编解码芯片,比如典型的接收器GS2971,发送器GS2972,优点是简单,比如GS2971接收器直接将SDI解码为并行的YCrCb422,GS2972发送器直接将并行的YCrCb422编码为SDI视频,缺点是成本较高,可以百度一下GS2971和GS2972的价格;另一种方案是使用FPGA逻辑资源部实现SDI编解码,利用Xilinx系列FPGA的GTP/GTX资源实现解串,利用Xilinx系列FPGA的SMPTE SDI资源实现SDI编解码,优点是合理利用了FPGA资源,GTP/GTX资源不用白不用,缺点是操作难度大一些,对FPGA开发者的技术水平要求较高。有意思的是,这两种方案在本博这里都有对应的解决方案,包括硬件的FPGA开发板、工程源码等等。

本设计基于Xilinx的Zynq7100-xc7z100ffg900-2中端FPGA开发板使用GS2971实现SDI视频接收转HDMI输出,输入源为一个HD-SDI相机,也可以使用SD-SDI或者3G-SDI相机,因为本设计是三种SDI视频自适应的;同轴的SDI视频通过同轴线连接到GS2971转接板,GS2971解码芯片将同轴的串行的SDI视频解码为并行的BT1120格式视频,至此,SDI视频解码操作已经完成,可以进行常规的图像处理操作了;本设计的目的是做HLS多路视频融合叠加后再经过GS2972后输出,需要进行BT1120视频转RGB+HLS多路视频融合叠加+图像缓存+RGB转BT1120视频操作操作;本设计使用BT1120转RGB模块实现视频格式转换,BT1120转RGB模块需要例化2路,以模拟2路视频输入,因为我的手里只有一个SDI相机;调用2路Xilinx官方的VDMA实现图像缓存,为了降低延时,仅缓存了1帧,图像缓存至PS侧DDR3,其中一路VDMA配置为读写模式,另一路VDMA配置为只写模式,两路VDMA缓存图像的地址不一样;多路视频融合叠加采用HLS方案,底层视频为输入的第1路视频,叠加层视频为第2路视频经过缩放后得到,2路视频融合在一起输出,可通过SDK软件动态配置2路视频融合的透明度、叠加层视频的缩放大小、叠加层视频的显示位置等信息;图像从DDR3读出后,进入纯verilog代码实现RGB转BT1120视频模块实现视频格式转换;最后BT1120视频经过GS2972编码芯片被编码为同轴的串行的SDI视频输出,并经过SDI转HDMI盒子输出到显示器;本博客提供1套工程源码,具体如下,请点击图片放大查看:

现对上述1套工程源码做如下解释,方便读者理解:

工程源码20:

输入视频为HD-SDI相机,输入分辨率为1920x1080@30Hz,经过GS2971解码+BT1120转RGB+HLS多路视频融合叠加+VDMA图像缓存+GS2972编码后,以3G-SDI接口方式输出,输出分辨率为1920x1080@60Hz;输入视频复制为2份以模拟2路视频,其中一路以原图分辨率作为视频融合的底层视频,另一路经图像缩放后叠加到底层视频之上进行融合显示;此工程的VDMA图像缓存架构将视频缓存到PS端DDR3,即可用于纯FPGA项目,比如可用于Xilinx的Artix7、Kintex7、Virtex7等FPGA,配合MicroBlaze;也可用于Zynq系列FPGA项目,比如可用于Xilinx的Zynq7000系列、Zynq7000、Zynq UltraScale等FPGA;

本文详细描述了Xilinx的Zynq7100-xc7z100ffg900-2中端FPGA基于GS2971+GS2972架构的SDI视频收发+HLS多路视频融合叠加,工程代码编译通过后上板调试验证,可直接项目移植,适用于在校学生做毕业设计、研究生项目开发,也适用于在职工程师做项目开发,可应用于医疗、军工等行业的数字成像和图像传输领域;

提供完整的、跑通的工程源码和技术支持;

工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;

免责声明

本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。

2、相关方案推荐

本博主所有FPGA工程项目-->汇总目录

其实一直有朋友反馈,说我的博客文章太多了,乱花渐欲迷人,自己看得一头雾水,不方便快速定位找到自己想要的项目,所以写了一篇汇总目录的博文并置顶,列出我目前已有的所有项目,并给出总目录,每个项目的文章链接,当然,本博文实时更新。。。博客链接如下:
点击直接前往

本博已有的 SDI 编解码方案

我的博客主页开设有SDI视频专栏,里面全是FPGA编解码SDI的工程源码及博客介绍;既有基于GS2971/GS2972的SDI编解码,也有基于GTP/GTX资源的SDI编解码;既有HD-SDI、3G-SDI,也有6G-SDI、12G-SDI等;专栏地址链接:
点击直接前往

本方案的SDI接收+发送

本方案采用GS2971接收SDI视频,然后进行图像缓存操作(图像缓存方案包括FDMA方案和VDMA方案,缓存介质包括PL端DDR3、PS端DDR3),最后用GS2971发送SDI视频,最终以3G-SDI输出;提供3套工程源码,3套工程源码详情请参考"1、前言"中的截图,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

本方案的SDI接收+图像缩放应用

本方案采用GS2971接收SDI视频,然后进行图像缩放操作(图像缩放方案包括纯verilog图像缩放方案和HLS图像缩放方案),再进行图像缓存操作(图像缓存方案包括FDMA方案和VDMA方案,缓存介质包括PL端DDR3、PS端DDR3),最后用GS2971发送SDI视频,最终以3G-SDI输出;提供3套工程源码,3套工程源码详情请参考"1、前言"中的截图,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

本方案的SDI接收+纯verilog图像缩放+纯verilog多路视频拼接应用

本方案采用GS2971接收SDI视频,然后进行图像缩放操作(图像缩放方案为纯verilog图像缩放),再进行多路视频拼接(包括2路、4路、8路、16路视频拼接,拼接方案为纯verilogFDMA方案,视频拼接和图像缓存为一个整体,缓存介质包括PL端DDR3、PS端DDR3),最后用GS2972编码器发送SDI视频,最终以3G-SDI输出;提供8套工程源码,8套工程源码详情请参考"1、前言"中的截图,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

本方案的SDI接收+HLS图像缩放+HLS多路视频拼接应用

本方案采用GS2971接收SDI视频,然后进行图像缩放操作(图像缩放方案为HLS图像缩放),再进行多路视频拼接(拼接方案为Xilinx官方的Video Mixer方案,包括2路、4路、8路、16路视频拼接),再进行图像缓存操作(图像缓存方案为VDMA方案,缓存介质包括PS端DDR3),最后用GS2972编码器发送SDI视频,最终以3G-SDI输出;提供4套工程源码,4套工程源码详情请参考"1、前言"中的截图,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

本方案的SDI接收+OSD动态字符叠加输出应用

本方案采用GS2971接收SDI视频,然后进行动态字符叠加(方案为HLS动态字符叠加),再进行图像缓存操作(图像缓存方案为VDMA方案,缓存介质包括PS端DDR3),最后用GS2972编码器发送SDI视频,最终以3G-SDI输出;提供1套工程源码,工程源码详情请参考"1、前言"中的截图,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

本方案的SDI接收+GTX 8b/10b编解码SFP光口传输

本方案采用GS2971接收SDI视频,然后进行8b/10b编解码作(8b/10b编解码方案为GTX高速接口方案,线速率为5G),再通过板载的SFP光口实现数据回环,再进行图像缓存操作(图像缓存方案为FDMA方案,缓存介质包括PL端DDR3、PS端DDR3),最后用GS2972编码器发送SDI视频,最终以3G-SDI输出;提供2套工程源码,2套工程源码详情请参考"1、前言"中的截图,详细设计方案请参考我专门的博客,上述所有工程源码均已上板调试通过,详细设计方案请参考我专门的博客,博客链接如下:
点击直接前往

FPGA的SDI视频编解码项目培训

基于目前市面上FPGA的SDI视频编解码项目培训较少的特点,本博专门开设了FPGA的SDI视频编解码高级项目培训班,专门培训SDI视频的编解码,具体培训计划细节如下:

1、我发你上述全套工程源码和对应的工程设计文档网盘链接,你保存下载,作为培训的核心资料;

2、你根据自己的实际情况安装好对应的开发环境,然后对着设计文档进行浅层次的学习;

3、遇到不懂的随时问我,包括代码、职业规划、就业咨询、人生规划、战略规划等等;

4、每周末进行一次腾讯会议,我会检查你的学习情况和面对面沟通交流;

5、你可以移植代码到你自己的FPGA开发板上跑,如果你没有板子,你根据你自己的需求修改代码后,编译工程,把bit发我,我帮你下载到我的板子上验证;或者你可以买我的开发板;

3、详细设计方案

设计原理框图

工程源码20的设计原理框图如下,该设计采用HLS多路视频融合叠加+VDMA图像缓存方案:

SDI 相机

我用到的是SDI相机为HD-SDI相机,输出分辨率为1920x1080@30Hz,本工程对SDI相机的选择要求范围很宽,可以是SD-SDI、HD-SDI、3G-SDI,因为很设计对这三种SDI视频是自动识别并自适应的;如果你的手里没有SDI相机,也可以去某宝买HDMI转SDI盒子,一百多块钱就可以搞定,使用笔记本电脑模拟视频源,用HDMI线连接HDMI转SDI盒子,输出SDI视频做事视频源,可以模拟SDI相机;

GS2971+GS2972架构

本设计采用GS2971解码芯片接收SDI+GS2972芯片编码发送SDI,GS2971和GS2972不需要软件配置,硬件电阻上下拉即可完成配置,本设计配置为输出/输入BT1120格式视频,当然,你在设计电路时也可以配置为输出CEA861格式视频;GS2971+GS2972硬件架构如下,提供PDF格式原理图:

BT1120转RGB

BT1120转RGB模块的作用是将SMPTE SD/HD/3G SDI IP核解码输出的BT1120视频转换为RGB888视频,它由BT1120转CEA861模块、YUV422转YUV444模块、YUV444转RGB888三个模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:

HLS多路视频融合叠加

多路视频融合叠加设计框图如下如所示:

多路视频融合叠加由底层视频和叠加层视频融合叠加而成,底层视频为输入的第1路视频,叠加层视频为第2路视频经过缩放后得到,两路视频融合在一起输出,可通过SDK软件动态配置2路视频融合的透明度、叠加层视频的缩放大小、叠加层视频的显示位置等信息;;设计加采用HLS方案C++代码实现,并综合成RTL后封装为IP,可在vivado中调用该IP,关于这个方案详情,请参考我之前的博客,博客链接如下:
点击直接前往

该IP在vivado中的综合资源占用情况如下:

HLS多路视频融合叠加需要在SDK中运行驱动和用户程序才能正常工作,我在工程中给出了C语言程序,具体参考工程源码;

VDMA图像缓存

图像缓存使用Xilinx官方的VDMA架构实现图像3帧缓存,缓存介质为板载的PS端DDR3;VDMA图像缓存架构由Video In to AXI4-Stream、VDMA、Zynq软核、Video Timing Controller、AXI4-Stream To Video Out构成;详情请参考后面的"工程源码架构小节",VDMAIP核UI配置界面如下:

VDMA加需要在SDK中运行驱动和用户程序才能正常工作,我在工程中给出了C语言程序,具体参考工程源码;

RGB转BT1120

在SDI输出方式下需要使用该模块;RGB转BT1200模块的作用是将用户侧的RGB视频转换为BT1200视频输出给SMPTE SD/HD/3G SDI IP核;RGB转BT1120模块由RGB888转YUV444模块、YUV444转YUV422模块、SDI视频编码模块、数据嵌入模块组成,该方案参考了Xilinx官方的设计;BT1120转RGB模块代码架构如下:

SDI转HDMI盒子

在SDI输出方式下需要使用到SDI转HDMI盒子,因为我手里的显示器没有SDI接口,只有HDMI接口,为了显示SDI视频,只能这么做,当然,如果你的显示器有SDI接口,则可直接连接显示,我的SDI转HDMI盒子在某宝购买,不到100块;我用的截图如下:

工程源码架构

工程Block Design和源码架构如下,Block Design设计为图像缓存架构的部分,缓存PS端DDR3:

工程源码PL端时钟由Zynq软核提供,所以需要运行运行SDK以启动Zynq,此外,HLS多路视频融合叠加、VDMA等IP核都需要运行软件驱动才能正常工作,SDK软件代码架构如下:

SDK代码中配置如下,用户可根据自己的需求任意修改;

第1路视频为底层视频,分辨率为1920x1080;

第2路视频为叠加层视频,分辨率为1920x1080,从叠加层视频坐标(760,340)处为原点取一块600x600的区域作为叠加融合视频;

将上一步取到的600x600的叠加融合视频进行图像缩放,缩放为960x540;

将上一步960x540的叠加融合视频从底层视频的(0,0)坐标开始叠加,底层与叠加层的透明度设置为40;

4、工程源码20详解-->>SDI接收+HLS多路视频融合叠加

开发板FPGA型号:Xilinx--Zynq7100--xc7z100ffg900-2;

开发环境:Vivado2019.1;

输入1:HD-SDI相机,分辨率1920x1080@30Hz;

输入2:HD-SDI相机,分辨率1920x1080@30Hz;

输出:3G-SDI,分辨率1920x1080@60Hz;

SDI接收方案:GS2971解码芯片;

SDI发送方案:GS2972编码芯片;

多路视频融合叠加:自研HLS方案;

图像缓存方案:VDMA方案;

图像缓存路径:PS端DDR3;

工程作用:此工程目的是让读者掌握FPGA实现SDI+HLS多路视频融合叠加的设计能力,以便能够移植和设计自己的项目;

工程Block Design和工程代码架构请参考第3章节"工程源码架构"小节内容;

工程的资源消耗和功耗如下:

5、工程移植说明

vivado版本不一致处理

1:如果你的vivado版本与本工程vivado版本一致,则直接打开工程;

2:如果你的vivado版本低于本工程vivado版本,则需要打开工程后,点击文件-->另存为;但此方法并不保险,最保险的方法是将你的vivado版本升级到本工程vivado的版本或者更高版本;

3:如果你的vivado版本高于本工程vivado版本,解决如下:

打开工程后会发现IP都被锁住了,如下:

此时需要升级IP,操作如下:

FPGA型号不一致处理

如果你的FPGA型号与我的不一致,则需要更改FPGA型号,操作如下:


更改FPGA型号后还需要升级IP,升级IP的方法前面已经讲述了;

其他注意事项

1:由于每个板子的DDR不一定完全一样,所以MIG IP需要根据你自己的原理图进行配置,甚至可以直接删掉我这里原工程的MIG并重新添加IP,重新配置;

2:根据你自己的原理图修改引脚约束,在xdc文件中修改即可;

3:纯FPGA移植到Zynq需要在工程中添加zynq软核;

6、上板调试验证

准备工作

需要准备的器材如下:

FPGA开发板;

SDI摄像头;

SDI转HDMI盒子;

HDMI显示器;

我的开发板了连接如下:

图中居左者为GS2971接收芯片,对应的金色同轴线连接SDI相机;居右者为GS2972发送芯片,对应的黑色同轴线连接SDI转HDMI盒子;SDI转HDMI盒子再连接显示器;

HLS多路视频融合叠加输出视频演示

FPGA基于GS2971+GS2972架构的SDI视频收发+HLS多路视频融合叠加输出效果如下:

GS2971接收+HLS多路视频融合叠加+GS2972发送

7、福利:工程代码的获取

福利:工程代码的获取

代码太大,无法邮箱发送,以某度网盘链接方式发送,

资料获取方式:私,或者文章末尾的V名片。

网盘资料如下:

相关推荐
ThreeYear_s1 小时前
基于FPGA 的4位密码锁 矩阵键盘 数码管显示 报警仿真
fpga开发·矩阵·计算机外设
Anin蓝天(北京太速科技-陈)7 小时前
252-8路SATAII 6U VPX高速存储模块
fpga开发
如何学会学习?10 小时前
2. FPGA基础了解--全局网络
fpga开发
Anin蓝天(北京太速科技-陈)10 小时前
271-基于XC7V690T的12路光纤PCIe接口卡
嵌入式硬件·fpga开发
碎碎思14 小时前
FPGA新闻速览-WiMi开发基于FPGA的数字量子计算机验证技术
fpga开发·量子计算
hi941 天前
Vivado - 远程调试 + 远程综合实现 + vmWare网络配置 + NFS 文件共享 + 使用 VIO 核
嵌入式硬件·fpga开发·vivado 远程开发·vmware网络配置
乘风~&1 天前
基于发FPGA 练手智能小车顶层文件
fpga开发
_Hello_Panda_2 天前
高云GW5AT系列FPGA在接口扩展和桥接领域的应用方向探讨分享
fpga开发·高云·gw5at
aningxiaoxixi2 天前
音频接口:PDM TDM128 TDM256
fpga开发·pcm
希言自然也2 天前
赛灵思ZYNQ系列的启动过程分析
嵌入式硬件·fpga开发