FPGA实现ISP用于无人车、无人机配送的方案调研

查到一个always 奥唯思公司做的用FPGA实现ISP的方案,采用易灵思钛金16nm的FPGA Ti60F225,通过MIPI CSI RX采集图像传感器的数据,在FPGA内部经过一系列复杂的ISP运算后,再通过MIPI CSI TX将图像数据发送给后端 。

一套完整的ISP,在这个方案里有15个环节,见上图最大的红框,具体的环节介绍见下表。

这个方案选择FPGA而没有选择ASIC,有以下几点考虑:

·针对选定的Sensor,虽然后续是要接到NVIDIA的平台,貌似NVIDIA的ISP ASIC芯片是方便的,但实际上用仍需要大量的调试工作,不见得比FPGA的工作量小; ·NVIDIA的ISP不支持8bit RAW输入模式; ·部分应用工程师,并不熟悉ISP领域; ·部分ISP算法,NVIDIA并没有包含; ·低延时的需求,需要流水线完成ISP。 综合起来是性价比和兼容性的问题

大概查了一下这个公司,深圳奥唯思科技,2021年成立,专注于摄像头采集、显示方案开发,以及FPGA硬件算法加速。有不少FPGA开发板和CMOS模组、USB工业相机的方案,很值得学习参考。

另外对于应用场景 做了一些调研:
相机视频的最终目的是接到NVIDIA的Jetson平台 ,该平台是NVIDIA为新一代自主机器设计的的嵌入式系统, 是一个AI平台。
它可以支持需要各种性能级别和价格的大量应用场合,例如 AI 网络视频录像机 (NVR)、高精度制造领域中的自动光学检查 (AOI) 以及自主移动机器人 (AMR)。
Jetson简单来讲就是一台电脑(看NVIDIA网站的介绍图,就是一个板卡),只不过这台电脑可以直接跑AI的程序,NVIDIA根据需要的不同做个多个版本。
用在类似送货机器人这样的产品上,商用落地的有京东的配送用产品,应该就可以实现这些送货机器人(无人车)、无人机等在路上、轨迹上安全驾驶,自动识别路程和障碍物,真是挺先进的技术呢,向着未来全面无人驾驶的方向落地的产品
。

相关推荐
迅翼SwiftWing29 分钟前
论文分享 | 固定翼无人机深失速栖停,NMPC 跟踪的稳定性从哪来?轨迹优化与时变终端设计
无人机
UIU11410 小时前
P1233 [ICPC 2001 Taejon R] 木棍加工
数据结构·c++·算法·动态规划
论文复现现场11 小时前
WRF、FEA 能用 L40S 加速吗?求解器检查、断点恢复与长期运行
java·数据库·算法·wrf·有限元分析·gpu计算·断点续算
ZhengEnCi11 小时前
用 AI 写代码为什么拼到最后还是拼人:算力瓶颈与领域专家提示词的本质差异
算法·架构
秋天的怀念_David12 小时前
第二十一夜 · 数字黑洞与西西弗斯的惩罚
java·程序人生·算法
碧海银沙音频科技研究院13 小时前
在PC电脑上用Whisper→Marian算法实现离线语音翻译功能
算法·whisper
niyongsheng13 小时前
3D 装箱算法工程化:数据结构、放置启发式与支撑规则
数据结构·算法·rust
1560820721914 小时前
JFMZQ28DR、JFMZQ68DR、RFsoc XCZU47DR、XCZU48DR 信号处理板
fpga开发·信号处理
j7~15 小时前
【穷举、深搜与回溯算法】一棵决策树讲透全排列与子集
数据结构·c++·算法·leetcode·回溯·递归
XMAIPC_Robot16 小时前
-40~85℃宽温实测:RK3588 机器人控制器硬件底座,长时间 SLAM 定位稳定性验证
人工智能·fpga开发·机器人·边缘计算·arm+fpga·rk3588+fpga