AI时代,如何利用FPGA在无人机视觉等方面进行快速应用

Part1: 技术背景

随着现在无人机广泛应用在农业、航拍,冲突前线等多个场景,受到的关注也越来越多。 那无人机跟踪系统是如何组成的呢?

首先,无人机通过高清摄像头模块,实时采集图像数据,系统通过信号检测模块和图像预处理模块将图片信息转变成数字信息,然后通过数据采集与处理模块进行采样、量化,并对各图片参数进行分析过滤;将分析结果与设定的跟踪目标比较,进行图像识别跟踪;跟踪的图像信息可以通过网络传输到手机和电脑实时显示,后台再发出相应的操作指令,进行农药喷洒,细节拍照或者投弹等操作。

我们再一起来梳理一下相关的技术原理。

1、FPV摄像头的基本原理

FPV摄像头(高清摄像头模块)是一种专业用于模型航空器或模型车辆等设备的小型摄像头,其主要功能是实现图像采集和实时图像传输。该摄像头模块通过无线或有线信号,将拍摄的图像数据实时传输到控制端遥控器或显示屏,使操作者可以实时观察到摄像目标所在位置及周边的情况。

2、光端机技术的原理

光端机(模块)是一种将光信号转化为电信号的设备。该设备主要由光模块、电模块和控制模块等构成。光模块负责接收和发射光信号;电模块负责将光信号转化为电信号或将电信号转化为光信号;控制模块主要负责控制光模块和电模块之间的交互和数据传输。

3、基于FPV摄像头的光端机技术原理

在基于FPV摄像头的光端机技术中,FPV摄像头模块可以看作是一种光信号的源,而光端机则是一种接收和转化光信号的设备。FPV摄像头拍摄到的图像通过光信号传输到光端机中,经过光模块、电模块和控制模块的处理,最终转化为电信号传输到显示器或接收器上。

PART2: FPV 无人机专用光端机

FPV 无人机专用光端机解决方案,采用的是高性价比的国产FPGA,充分利用了FPGA并行数据处理能力和同步设计优势,采用光纤传输技术,实现CVBS视频信号与 TTL 控制信号的长距离无损传输,适用于无人机竞速、航拍、工业巡检等复杂电磁环境场景。

核心功能:支持CVBS视频信号 + TTL/UART控制信号同步传输

传输距离:标准 20 公里(可选定制 40-100 公里)

介质类型:单模光纤

传输 延迟:15ms以内

抗干扰特性:光通信技术有效抵御电磁干扰

定制:支持信号类型、接口标准、工作电压等定制

应用场景

◦ 天空端:连接无人机摄像头 CVBS 输出至光端机视频输入口,RX接入飞控的CRSFTX,TX接入飞控的CRSFRX

◦ 地面端:连接显示器 / 控制站至光端机视频输出口,RX接入遥控器接收机的CRSFTX,TX接入遥控接收机的CRSFRX◦ 使用 FC 光纤跳线连接两端光口。

光端机的系统架构

光端机采用数字视频无压缩编码技术,通过一根光纤实现四路视频信号和一路RS-485信号的双向传输。接收光端机先将四路视频模拟信号高分辨率数字化,在各路数字信号中加入表示各路的标志,形成高速数字流;然后将四路数字流分时复用到一路光纤上。

而另一端的接收光端机从光纤上接收数据,解分时复用,恢复出数字信号,再根据发射端加入的标志将数字视频数据传输到对应的数模转换模块。系统总体设计框图如图1所示。

小结

基于FPGA设计的FPV无人机专用光端机是一种高性能的视音频传输解决方案,通过光纤实现高清视频和数据的稳定、低延迟传输。以下是该方案的核心要点:

系统架构与工作原理

‌**三大部分组成:**‌

  1. 图像信号采集‌:通过高清摄像头收集图像信息
  2. 数据处理‌:由FPGA芯片高速采集并传输到VCU和MCU组成的数据处理单元
  3. 信息展示‌:通过无线传输系统同步显示到控制平台和APP

‌**核心处理流程:**‌

  • 无人机通过高清摄像头实时采集图像数据
  • 系统通过信号检测和图像预处理模块将图片信息转变为数字信息
  • 数据采集与处理模块进行采样、量化,并对各图片参数进行分析过滤
  • 分析结果与设定的跟踪目标比较,进行图像识别跟踪

目前AG256SL100, AG32VF303都广泛应用于多款光模块上,受到客户的广泛好评。欢迎感兴趣的一起交流。

相关推荐
星一工作室3 小时前
STM32项目分享:基于stm32单片机控制的自动翻书装置
stm32·单片机·mongodb
小龙报3 小时前
【嵌入式51单片机】51 单片机中断入门到精通:中断类型、寄存器操作、优先级配置与实战代码
c语言·驱动开发·单片机·嵌入式硬件·物联网·mongodb·51单片机
小李做物联网4 小时前
【物联网毕设】76.1单片机stm32菊类智能养护物联网嵌入式项目程序系统开发
stm32·单片机·嵌入式硬件·物联网
科普瑞传感仪器4 小时前
航空航天领域青睐:复杂曲面机器人抛光为何必须采用六维力控?
运维·人工智能·机器人·自动化·无人机
Meraki.Zhang4 小时前
【STM32】:STM32CubeIDE 的使用
stm32·单片机·cubeide
heisd_14 小时前
嵌入式设备里面写文件通过外部 Flash 来进行
stm32·单片机
idcardwang4 小时前
esp32s3,读取RFID标签里面的数据
单片机
勤劳的进取家5 小时前
论文阅读:农业喷雾无人机避障技术综述
论文阅读·嵌入式硬件·神经网络·计算机视觉·无人机
小柯博客5 小时前
从零开始打造 OpenSTLinux 6.6 Yocto 系统 - STM32MP2(基于STM32CubeMX)(五)
stm32·单片机·嵌入式硬件