ZED 相机 × Jetson Thor:赋能机器人全场景高性能视觉,解锁边缘感知无限可能

导语

人形机器人、移动机器人和自主决策系统正逐渐从实验室走向工厂车间、仓库和公共区域。为了在这些环境中可靠地运行,机器人需要具备能够实时处理多种传感器的高性能感知处理管道。NVIDIA Jetson AGX Thor提供了满足此类需求所需的边缘计算能力,而友思特深度合作伙伴Stereolabs则将ZED空间感知视觉技术引入该平台,为现实世界的机器人应用提供了一套完整的解决方案。

Jetson Thor与ZED相机的融合通过ZED SDK 5.1版本推出,该版本已于本季度正式对外发布!

一、从 AGX Orin 到 Thor:极致性能释放,解锁全新工作负载

Jetson AGX Thor配备了一款由Blackwell架构打造的GPU,其性能高达2070 FP4 TFLOP(1035 FP8 TFLOP),相较于AGX Orin,性能显著提升

1.人工智能计算能力提升 7.5 倍,运行更大模型或同时处理多个感知任务负载

2.每瓦性能提升约 4 倍 AI TFLOPs,从而能够实现更高效的多传感器处理,同时不增加功耗。

3.搭载 2.6 倍速 Arm Neoverse 处理器的 CPU,拥有 14 个核心,可显著提升预处理及整体系统调度的速度。

4.数据处理速度大幅提升,得益于新增的 256 位 128 GB LPDDR5X 内存,其带宽高达 273 GB/s

5.四个 25 GbE 接口,支持高带宽传感器数据采集与实时数据融合。

6.双视频引擎,可处理多达 4 倍数量的 1080p30 H.265 流数据,非常适合多摄像头设置环境。

Jetson Thor模块由基于 Ubuntu 24.04 的新 Jetpack SDK 7 提供动力,该版本引入了全新的 CUDA 13 和 TensorRT 10。

依托以上全方位的性能升级,工程师可在单模块部署先进的感知流程,助力机器人实现多传感器并发处理、实时响应决策,在真实场景中达成更智能的自主运行。

二、ZED相机, 如何充分利用Thor的优势

(ZED 2i 通过 Thor Dev Kit 在 ZED Explorer 上进行实时流媒体传输)

将友思特合作伙伴Stereolabs的ZED相机与 Jetson AGX Thor 相融合,可打造一套面向机器人技术的完整感知架构。这套系统不仅能对深度信息、运动追踪与物体识别功能实现实时处理,还可并行运行多条任务流水线,同时为规划与控制类任务预留充足的计算余量。

实现这一效能的核心助力,正是 NVIDIA 的多实例 GPU(MIG)技术。该技术可将单块 GPU 拆分为多个独立实例,让感知、建图与规划类工作负载得以独立并行运转。借助为各项任务分配专属的计算资源与内存空间,MIG 技术能够有效避免不同工作负载之间的相互干扰,助力系统在严苛工况下始终保持稳定的性能表现。

此外,该平台搭载的高带宽内存与 25 GbE 高速接口,可大幅简化多摄像头数据采集与传感器融合的流程,确保海量传感器数据得到高效处理。与之相辅相成的是 Holoscan 的传感器直连 GPU 通道技术,该技术让数据全程留存于 GPU 内部完成处理,无需经由 CPU 中转传输,有效降低了数据处理延迟。

Jetson AGX Thor 开发套件可原生兼容 Stereolabs 旗下的 USB 接口相机,其中涵盖 ZED 2i 与 ZED Mini 型号。而 ZED X 系列产品的完整 GMSL2 连接功能,将依托我们合作伙伴的解决方案落地实现。

三、ZED 相机与 Jetson AGX Thor 的结合:在实际应用场景中的意义

1. 制造业

机器人可在同一模块内处理检查、拣选物品及保障工人安全等工作。凭借更高的计算能力和视频传输能力,它们能够保持精确性和响应性,从而在不影响效率的情况下提升生产效能。

2. 人形机器人

这一领域的项目需要同时具备运动、识别和操作方面的能力。ZED深度技术与Thor的MIG分区技术使这些流程得以并行运行,从而确保了安全、自然的协作。

3. 物流与仓储

AMR(自主移动机器人)和叉车拥有了覆盖广阔区域的 3D 视觉功能,从而能够进行通道导航、托盘搬运以及码头作业。Thor 的卓越效率使得车队能够随着规模的扩大而增加摄像头数量,同时保持地图绘制和障碍物规避功能的响应性。

4. 智能设施与基础设施

安全区域、流量分析及资产追踪等功能可被整合至单一系统中,从而减少大型场所内硬件设备的分散状况。

四、展望未来:解锁边缘感知无限可能

如果您计划在制造业、物流仓储或各类大型工业设施领域,搭建一套以 Jetson AGX Thor 为核心算力基底的智能应用平台,那么友思特合作伙伴 Stereolabs 的 ZED 系列相机,将凭借领先的空间视觉技术,为您部署可稳定执行各类实际作业任务的机器人,筑牢感知层面的核心技术支撑与性能保障。

友思特 ZED系列视觉系统

ZED X One 单目相机是灵活集成和定制立体系统或多摄像头环绕视觉的理想选择,特别适合于大型机器。与此同时,它高度通用,提供各种传感器选项以满足应用:4K HDR高分辨率和高灵敏度要求,以及适用于快速移动车辆的全局快门。

ZED X 系列双目相机可满足机器人导航和自动化设计在前沿工作项目的需求,有ZED X 和ZED X Mini 两款型号(以及一款ZED X One 单目相机)。所有功能均由全局快门传感器和安全的GMSL2连接驱动,ZED X专用于障碍物检测和导航灯应用,ZED X Mini专用于采摘等短距离应用。

ZED 2 系列双目视觉相机以超高深度传感和易用性为核心,是在机器人、数字孪生和沉浸式体验边缘工作的团队的首选,两个型号可选,满足不同项目需求:ZED 2i 使开发人员能够构建能够理解周围环境的先进系统,且坚固耐用。ZED Mini 可用于短程应用。

ZED Box是强大的嵌入式微型pc,用于边缘人工智能和机器人技术。该产品由全新NVIDIA®Jetson Orin™NX或AGX Orin™模块提供支持,是一款适用于具有挑战性环境的工业AI网关,可选16GB/8GB版本。

相关推荐
FL171713143 小时前
Mujoco gym仿真环境,收集数据集,训练,行为克隆/强化学习模型验证,机器人部署
机器人
lfPCB3 小时前
宇树机器人为何能奔跑?从PCB看运动控制的底层支撑
机器人·pcb·线路板
Venus-ww4 小时前
平面三轴机器人的阻尼最小二乘法(DLS)逆运动学求解
平面·机器人·最小二乘法
点云SLAM21 小时前
SLAM文献之-Embedding Manifold Structures into Kalman Filters(2)
机器人·slam·位姿估计·导航·imu·卡尔曼滤波算法·流行空间操作
AiTEN_Robotics1 天前
叉车机器人攻克工厂内部物流重复性任务难题
机器人·自动化
具身智能之心1 天前
AAAI‘26 Oral | 华科&小米提出新范式:教机器人「时间管理」,任务效率提升30%以上!
机器人·具身智能
Coovally AI模型快速验证1 天前
开放词汇3D实例分割新思路:框引导+超点融合,精准检索罕见物体
人工智能·计算机视觉·3d·语言模型·机器人·无人机
Deepoch1 天前
模块化智能新纪元:Deepoc开发板如何重塑服务机器人产业生态
人工智能·机器人·具身模型·deepoc
Deepoch1 天前
智能清洁新纪元:移动式收垃圾机器人如何重塑城市环卫服务体系
人工智能·机器人·具身模型·deepoc·环卫机器人