FPGA多路红外相机视频拼接输出，提供2套工程源码和技术支持

1、前言

近年来，高端局战争已发生了翻天覆地的变化，以我国云南边境的某外国内战为例，某地方武装正在雨林中猥琐发育，突然天降大批无人机和配套的导弹，甚至简体中文版使用手册也附带其中，于是该地方武装人员操作无人机对敌军造成了巨大损失，敌军被打蒙后，决定学习我军的夜战传统昼伏夜出，结果晚上也被无人机精准击杀，原来无人机上安装了红外摄像头，从空中俯视，敌军被一个个看得一清二楚。。。。于是敌军又学聪明了，听到无人机声音后立马躲进小树林，结果依然被无人机精准击杀，原来无人机上还安装了热成像摄像头，从空中俯视，敌军依然被一个个看得一清二楚。。。。敌军这下彻底服了，立马下跪投降，于是骚扰我国的缅北电诈集团被团灭，话事人也被送到国境内审判，这就是己不战而夺城，也是无人机+红外相机+热成像仪在现代战争中的小试牛刀；本设计采用FPGA为平台，实时采集红外相机，经过图像缓存后用HDMI输出；

工程概述

本设计基于Xilinx系列FPGA为平台，搭建红外相机实时采集系统，视频输入源为红外相机，相机输出LVCMOS数字视频接口，即包含 1 个时钟信号线、1 个帧同步（场同步）信号线、1 个行同步信号线、1 个使能信号线和 14 个并行数据信号线。当一帧数据到来时，帧同步信号置高电平，表示接下来的数据为同一帧数据，这一帧数据结束后帧同步信号置低电平，表示该帧数据结束。同样当一行数据到来时，行同步信号置高电平，当该行数据结束后，行同步信号置低电平，视频分辨率为640x512；输入视频直接送入本博主常用的FDMA图像缓存架构实现图像两帧缓存，缓存介质为板载DDR3或者Zynq的PS端DDR；然后Native视频时序控制FDMA从DDR3中读取视频并同步输出RGB888视频流；然后使用RGB转HDMI模块或者专用芯片实现RGB视频流转HDMI差分视频信号；最后用显示器显示视频即可；针对市场主流需求，本博客设计并提供1套工程源码，具体如下：

工程源码1

开发板FPGA型号为Xilinx-ZU19EG-xczu19eg-ffvc1760-2-i；视频输入源为红外相机，相机输出LVCMOS数字视频接口，视频分辨率为640x512，将输入红外相机视频复制为2份，以模拟2路视频输入；输入视频直接送入本博主常用的FDMA图像缓存架构实现图像两帧缓存，将不同的视频写入不同的内存地址再统一读出来，以达到拼接效果，缓存介质为板载DDR3或者Zynq的PS端DDR；然后Native视频时序控制FDMA从DDR3中读取视频并同步输出RGB888视频流；然后使用silicom9134专用芯片实现RGB视频流转HDMI差分视频信号，输出分辨率为1920x1080@60Hz黑色背景下叠加2路640x512的有效视频；最后通过HDMI显示器显示；由此形成FPGA+红外相机+视频拼接+HDMI的实时图传架构；该工程适用于FPGA采集红外相机应用；

工程源码2

开发板FPGA型号为Xilinx-ZU19EG-xczu19eg-ffvc1760-2-i；视频输入源为红外相机，相机输出LVCMOS数字视频接口，视频分辨率为640x512，将输入红外相机视频复制为4份，以模拟4路视频输入；输入视频直接送入本博主常用的FDMA图像缓存架构实现图像两帧缓存，将不同的视频写入不同的内存地址再统一读出来，以达到拼接效果，缓存介质为板载DDR3或者Zynq的PS端DDR；然后Native视频时序控制FDMA从DDR3中读取视频并同步输出RGB888视频流；然后使用silicom9134专用芯片实现RGB视频流转HDMI差分视频信号，输出分辨率为1920x1080@60Hz黑色背景下叠加4路640x512的有效视频；最后通过HDMI显示器显示；由此形成FPGA+红外相机+视频拼接+HDMI的实时图传架构；该工程适用于FPGA采集红外相机应用；

本博客详细描述了Xilinx系列FPGA实时红外相机采集输出系统的设计方案，工程代码可综合编译上板调试，可直接项目移植，适用于在校学生、研究生项目开发，也适用于在职工程师做学习提升，可应用于医疗、军工等行业的高速接口或图像处理领域；

提供完整的、跑通的工程源码和技术支持；

工程源码和技术支持的获取方式放在了文章末尾，请耐心看到最后；

免责声明

本工程及其源码即有自己写的一部分，也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网以及其他开源免费获取渠道等等)，若大佬们觉得有所冒犯，请私信批评教育；部分模块源码转载自上述网络，版权归原作者所有，如有侵权请联系我们删除；基于此，本工程及其源码仅限于读者或粉丝个人学习和研究，禁止用于商业用途，若由于读者或粉丝自身原因用于商业用途所导致的法律问题，与本博客及博主无关，请谨慎使用。。。

2、相关方案推荐

我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目

其实一直有朋友反馈，说我的博客文章太多了，乱花渐欲迷人，自己看得一头雾水，不方便快速定位找到自己想要的项目，所以本博文置顶，列出我目前已有的所有项目，并给出总目录，每个项目的文章链接，当然，本博文实时更新。。。以下是博客地址：
点击直接前往

我这里已有的红外相机图像处理解决方案

我的主页有FPGA红外相机图像处理专栏，该专栏有关于红外相机图的各种图像处理；以下是专栏地址：
点击直接前往

本博已有的已有的FPGA视频拼接叠加融合方案

我的主页目前有FPGA视频拼接叠加融合专栏，改专栏收录了我目前手里已有的FPGA视频拼接叠加融合方案，从实现方式分类有基于HSL实现的视频拼接、基于纯verilog代码实现的视频拼接；从应用上分为单路、2路、3路、4路、8路、16路视频拼接；视频缩放+拼接；视频融合叠加；从输入视频分类可分为OV5640摄像头视频拼接、SDI视频拼接、CameraLink视频拼接等等；以下是专栏地址：
点击直接前往

3、工程详细设计方案

工程设计原理框图

工程设计原理框图如下：

红外相机

视频输入源为红外相机，相机输出LVCMOS数字视频接口，即包含 1 个时钟信号线、1 个帧同步（场同步）信号线、1 个行同步信号线、1 个使能信号线和 14 个并行数据信号线。当一帧数据到来时，帧同步信号置高电平，表示接下来的数据为同一帧数据，这一帧数据结束后帧同步信号置低电平，表示该帧数据结束。同样当一行数据到来时，行同步信号置高电平，当该行数据结束后，行同步信号置低电平，视频分辨率为640x512；红外相机视频输出时序如下：

LVCMOS 视频数据每一个像素的数据对应 1 个时钟周期。每一帧的数据量与机芯探测器的面阵大小相同，机芯探测器面阵大小为 640512，LVCMOS 每一帧包含 640512=327680 个像素的数据，每行有 640 个数据，共有 512 行。即每个行同步信号高电平持续的时间为 640 个时钟周期，在一帧数据期间，行同步信号共有 512 次被置为高电平。在上图中，同步信号和数据信号都是在时钟的上升沿进行变化，在实际的程序设计中，可以令信号在时钟的下降沿开始变化，以便于接收端在时钟的上升沿进行采样。

FDMA多路视频拼接算法

纯verilog多路视频拼接方案如下：以4路视频拼接为例；

输出屏幕分辨率为1920X1080；

需要拼接的4路视频分辨率为960X540；

4路输入刚好可以占满整个屏幕；

多路视频的拼接显示原理如下：

以把 2 个摄像头 CAM0 和 CAM1 输出到同一个显示器上为列，为了把 2 个图像显示到 1 个显示器，首先得搞清楚以下关系：

hsize：每 1 行图像实际在内存中占用的有效空间，以 32bit 表示一个像素的时候占用内存大小为 hsize X 4；

hstride：用于设置每行图像第一个像素的地址,以 32bit 表示一个像素的时候 v_cnt X hstride X 4；

vsize：有效的行；

因此很容易得出 cam0 的每行第一个像素的地址也是 v_cnt X hstride X 4；

同理如果我们需要把 cam1 在 hsize 和 vsize 空间的任何位置显示，我们只要关心 cam1 每一行图像第一个像素的地址，可以用以下公式 v_cnt X hstride X 4 + offset；

uifdma_dbuf 支持 stride 参数设置，stride 参数可以设置输入数据 X(hsize)方向每一行数据的第一个像素到下一个起始像素的间隔地址，利用 stride 参数可以非常方便地摆放输入视频到内存中的排列方式。

关于uifdma_dbuf，可以参考我之前写的文章点击查看：FDMA实现视频数据三帧缓存

根据以上铺垫，每路摄像头缓存的基地址如下：

CAM0：ADDR_BASE=0x80000000；

CAM1：ADDR_BASE=0x80000000+(1920-960)X4；

CAM2：ADDR_BASE=0x80000000+(1080-540)X1920X4；

CAM3：ADDR_BASE=0x80000000+(1080-540)X1920X4+(1920-960)X4；

地址设置完毕后基本就完事儿了；

FDMA图像缓存

使用本博常用的FDMA图像缓存架构实现图像3帧缓存，缓存介质为板载的DDR3；FDMA图像缓存架构由FDMA、FDMA控制器、缓存帧选择器构成、Xilinx MIG IP核构成；图像缓存使用Xilinx vivado的Block Design设计，他的作用是将图像送入DDR中做3帧缓存再读出显示，目的是匹配输入输出的时钟差和提高输出视频质量，FDMA图像缓存架构如下图所示：截图为4路视频拼接，其他多路视频拼接与之类似；

这里多路视频拼接时，调用多路FDMA进行缓存，具体讲就是每一路视频调用1路FDMA，以4路视频拼接为例：

调用4路FDMA，其中三路配置为写模式，因为这三路视频在这里只需要写入DDR3，读出是由另一个FDMA完成，配置如下：

另外1路FDMA配置为读写模式，因为4路视频需要同时一并读出，配置如下：

视频拼接的关键点在于4路视频在DDR3中缓存地址的不同，还是以4路视频拼接为例，4路FDMA的写地址以此为：

第一路视频缓存写基地址：0x80000000；

第二路视频缓存写基地址：0x80000f00；

第三路视频缓存写基地址：0x803f4800；

第四路视频缓存写基地址：0x803f5700；

视频缓存读基地址：0x80000000；

视频读取控制

FDMA图像缓存架构使用VGA时序模块完成视频读取控制，Native视频时序模块负责产生VGA时序，他有两个作用，一是控制FDMA控制器从DDR3中读出缓存的视频，二是将同步后的VGA视频送入下一级模块；

HDMI视频输出架构

缓存图像从DDR3读出后经过Native时序生成模块输出标准的VGA时序视频，然后经过纯verilog显示的RGB转HDMI模块输出HDMI差分视频；然后使用silicom9134专用芯片实现RGB视频流转HDMI差分视频信号，输出分辨率为1920x1080@60Hz黑色背景下叠加640x512的有效视频；最后通过HDMI显示器显示；silicom9134需要i2c配置才能使用，代码中配置如下：