Nvidia Orin/Jetson +GMSL/RLINC/VbyOne/FPDLink 同轴AI多相机同步车载视觉解决方案

在本次演讲中,介绍了多相机同步技术在自主机器中的应用情况,围绕无人配送小车、控制器视觉传感器方案升级、人形机器人三个典型案例中如何为客户提供高效的多相机同步解决方案进行了详细的讲解,并进一步介绍如何通过创新的多相机同步技术,来满足自主机器的多相机组合感知、不同相机数据精准同步的需求。

多相机在无人配送小车的应用

无人配送小车作为典型的L4自动驾驶场景,常用NVIDIA Jetson Orin平台作为核心计算处理器,需要同时处理激光、摄像头、GPS、IMU等多种传感器信息,从而进行自主导航、识别信号灯、避开障碍。

在无人车的应用中,对不同功能的相机要求不同,比如红绿灯相机需要能够识别红绿灯,因此对相机分辨率HDR AWB的要求非常高,需要它能在不同的光线环境下准确还原红绿灯的轮廓和颜色;感知相机用于车辆四周环境的识别,对于HDR对比度清晰度要求会比较高;环视相机用于平行驾驶,不仅要求能够清晰看清车辆四周的环境,而且还需要在晚上也能够清晰成像来保障24小时运行,因此对相机的低照度要求非常高。

为了提升感知算法的准确率,基于NVIDIA Jetson自动驾驶控制器通过精准的授时技术,完成整个系统的时间同步,对多路相机实现同步曝光。

工业机器人控制器解决方案升级

随着AI的发展,工业机器人在进行算法升级时,需要同时接入多路相机,并且要求摄像头进行同步曝光,能够完成物品的拍摄、识别、抓取等作业过程。

由于传统的工业机器人大多使用USB摄像头或者以太网摄像头,因此无法实现摄像头的同步曝光。为了解决以上问题,基于NVIDIA Jetson Orin平台提供一整套多相机同步解决方案。

首先,通过同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)将多路相机接入Jetson Orin控制器,Jetson Orin通过触发方式实现多个摄像头的精准同步曝光,然后Jetson Orin在对多路摄像头的数据进行拼接等预处理之后,用相同的接口接入到工业机器人的主控中。

这样不仅可以实现多相机同时具备边缘算力,还可以通过Jetson Orin的处理多相机同步,来解决原来USB相机无法实现的精准同步曝光问题。

多传感器在人形机器人上的应用

人形机器人作为当下的热点,它也是一种典型的高依赖相机作为感知/识别的自主机器,机器人要实现自主工作,需要对周边的环境、目标进行精确感知,这就需要高度依赖摄像头。

常见的人形机器人相机布置方案大致:头部布置一个双目相机,类似人的眼睛;在胸前和胸后各布置两个相机,覆盖机器人前后的视野;在关节的相机可以起到补盲的效果,能够更好的满足目标识别等作业过程。

另外,人形机器人在工作过程中需要对复杂场景进行感知,为了满足目标的精确定位需要计算深度信息,因此要求不同的摄像头需要严格同步。

总结来看,人形机器人相机需要具备长距离传输、高稳定性传输、多相机时间同步等特点,而采用基于NVIDIA Jetson平台加上多路数字同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)的同步技术,能够很好地满足机器视觉应用的需求。

基于NVIDIA Jetson Orin推出系列产品

作为全球领先的成像感知产品和服务供应商,自创立以来专注于成像和视觉技术,通过打造优秀的摄像头模组和解决方案,为智能驾驶、无人驾驶、自主机器、车路协同等领域提供一流的服务。

NVIDIA的合作由来已久,目前已经基于NVIDIA Jetson Orin平台推出了同轴相机(比如GMSL/RLINC/VbyOne/FPDLink)、MIPI相机、EVS仿生事件相机等一系列开发套件。

相关推荐
lingling00910 天前
2025 年焊接相机十大品牌测评:抗光耐高温解决方案深度解析
数码相机
人类发明了工具10 天前
【机器人-深度估计】双目深度估计原理解析
数码相机·机器人·深度估计·双目深度估计
朝风工作室11 天前
从零理解鱼眼相机的标定与矫正(含 OpenCV 代码与原理讲解)
人工智能·数码相机·opencv
东风西巷11 天前
MolyCamCCD复古胶片相机:复古质感,时尚出片
android·数码相机·智能手机·软件需求
lingling00914 天前
锌锭工业相机:迁移科技驱动金属制造自动化新高度
数码相机
三维频道16 天前
多相机数字图像相关 DIC 技术:精准测量桁架静载扭转全场变形,赋能建筑结构安全评估
数码相机·安全·多相机数字图像相关 dic·桁架静载扭转测试·全场变形测量·建筑结构安全评估’·非接触式测量技术
江山如画,佳人北望18 天前
VINS-Fusion 简介、安装、编译、数据集/相机实测
数码相机
SHARE赛尔19 天前
赛尔发布SHARE 5系列航测相机,外业更高效,建模更优质
数码相机
元器猫20 天前
工业自动化发展:工业相机在机器视觉领域的应用趋势
运维·数码相机·自动化
橙色小博21 天前
摄影入门:相机基本参数解析
数码相机·相机·摄影