一、引言
随着系统复杂性的日益提高，单传感器系统的数据处理技术已经无法满足要求，为了弥补单传感器的局限性，多传感器信息融合技术应运而生。红外与可见光图像融合是多源图像融合领域的重要研究方向之一。
二、超高清融合相机方案和硬件设计
2.1 相机功能要求
本文设计的超高清融合相机系统，能够实时采集可见与红外光图像信息，并将采集到的图像信息进行实时融合和H.265编码，最后通过RTP协议进行传输。同时系统还支持多个视频流的编码和传输。系统具体功能要求如下：
（1） 相机模式配置：
可根据实际采集场景的变化，通过 SPI、IIC、UART 等低速串行接口，配置图像传感器的分辨率、曝光时间、帧频等参数。
（2） 图像采集功能：
系统能够对可见光与红外光传感器输出的像素数据进行实时的接收和图像处理。
（3） 图像融合功能：
通过图像融合算法对采集到的可见与红外光图像进行实时融合。
（4） 视频流编码传输功能：
系统内集成有 H.264和 H.265视频压缩编码功能，可以实现对融合后的图像以及采集到的可见与红外光图像编码，最后通过RTP协议传输到上位机上显示。
2.2 相机总体设计方案
2.2.1 系统硬件架构设计
本文设计的相机系统共分为三个主要功能模块：可见光图像采集模块 、红外光图像采集模块 和ZYNQ MPSoC处理模块 。
可见光图像采集模块为前端图像采集设备，主要包含：镜头、相机外壳以及 CMOS 模块。该模块主要功能是为 CMOS提供正常的工作电压，并将 CMOS的控制接口和数据输出接口通过50pin的 FPC排线连接到 FPGA。在本设计中选择的CMOS传感器为IMX183CQJ，可以实现5472×3648@25fps或4096×2160@60fps的视频输出。
红外光采集模块同样是前端图像采集设备，主要包含：红外模块和电平转接板。选用的是艾睿光电的 Tiny1-C，该模块选用的是非制冷型红外焦平面传感器，可以实现256×192@25fps的视频输出。
电平转换板是将Tiny1-C的控制接口与数据接口的高电平标准转换为FPGA的低电平标准。 ZYNQ MPSoC 处理模块是整个设备的核心，负责与可见光图像采集模块和红外光图像采集模块进行通信和接收图像数据，并对图像数据进行处理、融合和H.265编码，最后通过千兆以太网口传输到上位机。
2.2.2 系统模块方案设计
（1） 可见光图像采集单元
可见光图像采集单元共包含5个部分：可见光采集模块 、CMOS控制模块 、解串模块 、RAW2RGB 模块 和 AXI-Stream 模块。其中可见光采集模块用于捕捉可见光图像数据，CMOS控制模块通过SCK、XCE和SDI信号对CMOS的寄存器进行配置来控制 CMOS 工作在不同的模式，并且给 CMOS 提供 72MHz 时钟信号 INCK 以及行场同步信号 XVS、XHS和XCLR。解串模块通过FPGA内部的串并转换原语将10路SubLVDS DDR串行数据转换为RAW10格式的像素数据。RAW2RGB模块通过Demosaic算法将RAW10的像素 数据转换成 RGB888 格式。最后 AXI-Stream 模块则将 RGB888 格式的图像数据通过 AXI Stream 协议传输到下一级。
（2） 红外光图像采集单元
红外光图像采集单元共包含4个部分：红外光采集模块 、IIC控制模块 、解串模块 和AXI-Stream模块。其中红外光采集模块用于捕捉红外图像信息，IIC控制模块则是通过IIC总线对红外模块进行配置使其进入正常的工作模式，解串模块将DVP输出的8bit 数据拼接成 16bit 数据，最后AXI-Stream 模块将图像数据通过 AXI-Stream 协议传输到下一级。
（3） 融合单元
融合单元共包含3个部分：视频帧缓存模块 、融合模块 和编码模块。其中视频帧缓存模块通过AXI-Full协议对采集到的图像进行3帧缓存，融合模块则是通过图像融合算法将采集到的可见与红外光图像融合成一副图像，编码模块则是对可见光图像、红外图像和融合后的图像进行实时编码。
2.3 相机硬件电路设计
超高清可见光与红外光融合相机的硬件系统分成三个部分进行设计，分别为可见光图像采集模块 、红外光图像采集模块 和图像处理模块，各模块分工独立但可以通过接口彼此之间互通合作，共同配合实现整个系统的功能。可见光图像采集模块内部集成一个靶面大小为1英寸，有效像素为2000万的互补式金属氧化物半导体（CMOS）传感器，并通过 SubLVDS 接口输出可见光像素数据。红外光图像采集模块内部集成一个非制冷红外焦平面探测器，并通过 DVP 接口输出红外像素数据。同时图像处理模块还可以通过SPI串行总线和 IIC串行总线对两个图像采集模块进行实时配置，使图像传感器适应不同的工作环境要求。
2.3.1 图像处理模块电路设计
相机处理单元使用的是 Xilinx 公司生产的 SoC 芯片，型号为 Zynq UltraScale+ 4EV MPSoC。Zynq UltraScale+ MPSoC 集成了基于 ARM 的高性能多核多处理系统和 UltraScale+系列 FPGA。ZU4EV内部集成有4个主频高达1.5GHz的ARM Cortex-A53 应用处理单元，2个主频高达600MHz的ARM Cortex-R5F实时处理单元以及1个主频高达667MHz 的ARM Mail-400图像处理单元。UltraScale+系列FPGA采用16nm FinFET+工艺制造，并通过 6000 个互联点与处理系统进行通信，实现多芯片解决方案无法实现的高带宽。通过对功率域和门控功率岛的精细控制，实现了显著的功耗节省。以下为 MPSOC 4EV 中 FPGA资源。
同时在ZU4EV的FPGA(PL)侧集成一个视频编解码的硬核。该视频编解码硬核不仅支持 H.264/AVC 编解码，同时还支持H.265/HEVC编解码。可以同时对总数据带宽不大于3840× 2160@60fps 的 32 个视频流进行编解码。该编码单元拥有灵活的比特率控制，支持 CBR、 VBR以及恒定QP模式；同时还支持8K@15fps的编解码。
（1） 电源设计
为了实现显著的功耗管理，ZU4EV 内部分为低功耗域与全功耗域。其中低功耗域必须先于全功耗域启动，或者与全功耗域同时启动。低功耗域（即 PS 端）在上电时为了实现最小的电流消耗需遵循图2.7的时序进行上电。为了满足上电时序要求，在本设计中选用德州仪器(TI)公司生产的型号为TPS82130电源管理芯片。
全功耗域即PL端在上电需遵循图2.9的时序进行上电。同样PL端也是选用的TPS82130 电源管理芯片实现对上电时序的控制。
（2） 时钟设计
ZU4EV共需要两路时钟，其中一路输出给PS作为ARM的参考时钟，一路输出到PL作为FPGA的参考时钟。PS端选用的参考时钟频率为33.333MHz，采用的是单端时钟，PL端选用的参考时钟为100MHz的差分时钟。
（3） 模式选择设计
ZU4EV支持5种启动模式，这里通过3位模式选择开关来配置ZU4EV的启动模式。 当模式开关为"000"时，选择的是 JTAG 调试模式；当模式开关为"110"时，选择的是 EMMC启动模式；当模式开关为"101"时，选择的是SD卡启动模式；当模式开关为"111" 时，选择的是 USB启动模式；最后当模式开关为"010"时，选择的是 QSPI启动模式。
2.3.2 可见光图像采集模块电路设计
本相机使用的图像传感器是 SONY 公司研发的一款 CMOS 图像传感器，具体型号IMX183CQJ。IMX183CQJ的靶面大小为1英寸，像元尺寸为2.4μm×2.4μm，在20.48M有效像素下能够实现5472×3648@25fps 的视频输出，同时在 9.03M 有效像素下能够实4096×2160@60fps 视频输出并且可以通过相机裁剪实现各种分辨率模式。除此之外，该传感器还拥有可调节曝光时长的电子快门以及通过机械快门实现全像素曝光。同时 IMX183CQJ片上集成有R,G,B基色马赛克滤光片和输出位宽为10bit、12bit的A/D转换器。
IMX183CQJ是SONY "Exmor R"系列CMOS图像传感。该系列传感器通过采用背照式结构，显著增强的成像特性，使其拥有更高的灵敏度和更低的噪声。
(1)图像传感器电源设计
IMX183CQJ共需要三路电路，分别为：模拟电路, 数字电路,数字端口（I/O）电路。
在选择传感器电源芯片时，考虑到其对噪声比较敏感，因此排除DC-DC，选择LDO作为主电源芯片。由于本身工作原理的关系，LDO在正常工作时发热量会比DC-DC大很多， 而传感器采用的是+3.3V 供电，输入输出之间压差较大。综合以上考虑，模拟电路和数字电路部分电源选择MPS公司生成的MP20051 LDO。该电源芯片输出电压范围为0.8V~5V， 输出电流高达1A。同时，还提供低功耗关断保护、短路保护和热保护功能，并且采用散热性能较强的SOIC8E封装。数字I/O部分供电则是用的MaxLinear公司的SPX3819M5 LDO因为所需输出电流较小，因此选择SOT-23小封装的芯片。
MP20051通过使用从输出电压到FB引脚的电阻分压器设置输出电压。，其中FB是反馈输入引脚。VOUT为电压输出引脚，其输出由反馈阈值电压和电阻分压器决定。
（2）图像传感器电压保护电路设计
在进行电源设计时，考虑到VDDD1所能接受的最大供电电压为2.0V，而供电电压为3.3V， 因此为了降低CMOS图像传感器损坏的概率，在VDDD1的输出部分增加了电压保护电路。该电路实现的功能为：当输入电压小于等于2.0V时，MOS管导通，电压正常输入到CMOS中；当输入电压大于2.0V时，MOS管截止，关断输入到CMOS的通路。
2.3.3 红外光图像采集模块电路设计
（1 ）红外光传感器电源设计
红外传感器对于供电噪声敏感，特别是模拟部分的噪声能够直接反应在成像视频上。以下为传感器能够容忍的最大噪声、典型工作电流与最大电流，因此还是选择LDO作为主电源。LDO选择的是TI公司生产的LP38690DT-FIX，5V输入 3.3V固定输出。
（2） 红外光传感器数据接口电平转换电路
红外传感器 Tiny1-C通过 IIC接口进行通信，图像数据通过 8bit位宽的 DVP 接口、行同步信号HSYNC、场同步信号VSYNC和像素时钟PIXCLK输出。通信接口与数据输出端口采用的是3.3V LVCMOS电平标准，而ZU4EV支持的标准为1.8V LVCMOS。 因此需要对其进行电平转换，从而适配 ZU4EV 的电平标准。这里选择 TI 公司生产的 TXS0108E_PW_20电平转换芯片。该芯片具有8位双向电压电平转换功能，在推挽状态下支持的最大速率为110Mbps。在正常使用时，VCCA的电压要小于等于VCCB的电压。
2.3.4 PCB图展示
