友思特产品 | ZED SDK 5.1 全新发布:助力机器人多相机感知技术再攀新峰

导语

友思特合作伙伴Stereolabs ZED SDK 5.1 突破机器人平台实时多相机感知技术极限,全新重构采集与录制管道,升级增强型位姿追踪功能,新增近距深度感知能力,且官方原生支持 Jetson Thor 平台。本次版本迭代让 ZED 全生态体系,在工业场景中运行更高速、更稳定、更全能。

全新升级亮点

1. 为机器人场景重构高性能采集系统

图像采集系统完成全新重构,全面支持实时低延迟多相机系统。ZED SDK 5.1 全新采集架构,在采集、录制、流媒体传输过程中,实现性能、可靠性双提升,延迟进一步降低。

在 Jetson 嵌入式设备上,流传输延迟现已低至 100 毫秒以内,为自主控制系统与远程操控打造更流畅的反馈闭环。录制负载亦大幅优化,SVO2 录制模式的系统资源占用更少,长时连续录制的稳定性显著增强。

NVIDIA Jetson AGX Thor 开发套件和 ZED 2i

基于 ZED Driver 1.3.1 版本,我们新增PREEMPT_RT 实时抢占内核模式支持,为高时效性关键应用提供更强的操控性与低延迟响应能力,适配全系列 ZED Box、ZED Box Mini 及 NVIDIA AGX Orin 开发套件。

2. 原生支持 Jetson Thor 平台

ZED SDK 5.1 同步适配英伟达全新嵌入式平台 Jetson Thor,兼容 JetPack 7 开发套件,并搭载基于 Ubuntu 24.04 系统的全新板级支持包(BSP)。ZED 相机可充分发挥 Thor 的算力优势,性能提升最高达 2.5 倍,赋能边缘端实现更丰富的感知能力(硬件编解码功能将随后续 JetPack 版本更新正式上线)。

ZED SDK 性能

3. ZED Studio 全新登场:单应用集成,无限相机掌控

多相机感知已成为新一代机器人技术的标配方案。全新打造的 ZED Studio 工具,将所有相机、流传输及 SVO 文件管理功能,一站式整合至单款一体化应用中。

全新 ZED Studio 多相机SDK

可同时查看并操控多台相机,录制同步数据流,并按需自定义布局,统筹回放内容与实时画面。

ZED Studio 核心功能支持:

✅ 多相机实时可视化与同步录制

✅ 同步回放及流传输管理

✅ 相机参数群组统一管控

✅ 自动化命令行启动配置

Windows 系统下,ZED Studio 已替代旧版查看器,成为打开 SVO 文件的默认应用程序 ------ 为 ZED 生态管理打造统一跨平台操作界面,体验更一致。

4. Isaac™ ROS 集成:ROS 2 实时性能全面加速

ZED ROS 2 封装包完成重磅更新,实现与英伟达 ®Isaac™ ROS 框架无缝集成,助力开发者充分利用英伟达 GPU 算力,高效完成实时感知及计算机视觉任务。

依托 NITROS(英伟达 ®Isaac™ ROS 传输协议),相较传统 CPU 传输方案,该封装包的图像话题发布延迟降低高达 90%。这一性能跃升源于 GPU 内存共享机制,可彻底消除 CPU 与 GPU 之间高损耗的数据拷贝环节。

**最终实现:**数据流传输提速、CPU/GPU 算力负载降低,为高负载机器人及 AI 应用,打造更流畅、更高效的 ROS 2 处理管道。

**5.近距深度感知能力重磅升级

全新升级的深度模块,实现厘米级近距感知精度,成为操作、装配、检测类机器人的核心技术突破。即便目标物体仅距相机数厘米,也能输出稳定无伪影的深度数据 --- 完美适配机械臂、人形机器人、夹爪、末端执行器及近场场景重建等应用场景。

近场场景下的自校准能力同步优化,对复杂工况的适配性大幅提升,可自动诊断并修正相机潜在标定偏差,保障设备 7×24 小时稳定可靠运行。

RGB 图像(DROID 数据集)

ZED SDK 5.0 版深度图 VS ZED SDK 5.1 版深度图

6. 面向实际部署场景的高鲁棒性 : SLAM 方案

第三代位姿追踪模块全面强化,抗动态遮挡、抗图像失真能力大幅提升,可从容应对更复杂的环境与动态移动物体,同时始终保持精准定位。

视觉 SLAM 关键帧

全新SPATIAL_MEMORY 空间内存状态功能,可在相机重定位及回环检测过程中提供更详实的状态反馈,助力工程师便捷监控定位与追踪性能。

更新后的示例可视化工具中新增的视觉 SLAM 2D模式

ZED SDK 5.1 新增2D 地面追踪模式,专为地面移动机器人及轮式设备打造。该模式将追踪范围约束于运动平面,有效减少定位漂移,大幅提升厂房车间、室内导航等平面场景下的定位精度。

此外,SLAM 代码示例同步升级,搭载更直观的可视化界面,各类定位状态与关键事件均可一键清晰呈现。

7. ZED X One 采集性能跨越式提升

依托全新实时虚拟立体视觉 API(Live Virtual Stereo API),双 ZED X One 相机搭建立体成像对的效率实现质的飞跃,CPU 算力效率提升约 2.5 倍。开发者可通过 SDK 直接配置虚拟成像对,甚至支持未标定模式开展 SVO 录制或原始图像流传输,满足后期校准需求。

此次升级也正式宣告 ZED 媒体服务器(ZED Media Server)时代落幕,其原有功能已全面整合至 SDK 原生虚拟立体视觉工具中,且性能实现全面超越。

优化后的虚拟立体视觉 CPU 负载

8.原生鱼眼标定功能全新上线

ZED SDK 5.1 原生支持 OpenCV 鱼眼标定文件,实现 ZED SDK 系列相机对鱼眼镜头的直接适配应用。这一功能可助力开发者轻松将广角鱼眼镜头集成至现有业务流程,是搭建大视场角导航系统或全景视觉设备的核心必备能力。如需为 ZED 相机搭配鱼眼镜头完成标定,可查阅 GitHub 官方开源仓库。

原始鱼眼视图

校正后鱼眼视图

9. 更广泛的兼容性,更精简的安装程序

ZED SDK 5.1 新增多项核心开发环境原生支持:

✅ 支持 CUDA 13

✅ 支持 JetPack 7

✅ 支持 Python 3.14

✅ 支持 C++17 及 C++20 标准

Python 开发者可通过CuPy 集成实现 GPU 数据传输提速,配套全新示例脚本,直观展示深度感知与目标检测功能的优化调用方式。

SDK 安装包同步完成轻量化优化,Linux 系统下搭载 TensorRT 10 的安装包体积缩减 40%;Docker 镜像实现版本化管理,助力部署流程更便捷、开发环境复刻更高效。

结语:新一代空间AI感知方案

友思特合作伙伴Stereolabs ZED SDK 5.1 绝非只是进行了简单的版本迭代,更是空间 AI 技术在效率、精度、灵活性上的跨越式升级。从优化的多相机采集、厘米级近距深度感知、增强型 SLAM 算法,到 Jetson Thor 平台原生支持、全新 ZED Studio 工具上线,ZED 全生态模块均完成深度迭代,助力您打造更高速、更智能、更可靠的视觉感知系统。

即刻体验全新能力?立即下载 ZED SDK 5.1,突破机器人与智能应用的视觉感知边界。

相关推荐
阿Q说代码4 天前
将Zed集成到Bright Data 的Web MCP
数据获取·zed·亮数据
易知微EasyV数据可视化19 天前
数字孪生+AI:某世界级物联网企业-产线数智化升级,点亮智造之路v
人工智能·经验分享·物联网·信息可视化·数字孪生·空间智能
杀生丸学AI20 天前
【点云分割】SNAP:面向任意点云的任意分割
aigc·扩散模型·视觉大模型·点云分割·lora微调·空间智能
前进吧-程序员20 天前
Ollama 本地部署编程大模型 + Zed 编辑器配置指南
ai编程·zed·ollama
杀生丸学AI1 个月前
【世界模型】AI世界模型的两次物理大考(测评)
人工智能·扩散模型·具身智能·视频生成·世界模型·自回归·空间智能
杀生丸学AI1 个月前
【视频生成】SRENDER:基于<稀疏扩散>与<3D渲染>的像机轨迹视频生成
人工智能·深度学习·3d·三维重建·世界模型·空间智能·高斯溅射
杀生丸学AI1 个月前
【三维生成】ShapeR:单目视频的条件三维形状生成
aigc·三维重建·扩散模型·图像生成·视觉大模型·lora微调·空间智能
数字孪生家族1 个月前
智慧仓储新纪元:视频孪生与空间智能如何重塑物流管理体系
人工智能·空间智能·视频孪生·智慧仓储系统·智慧仓储管理的技术
杀生丸学AI2 个月前
【平面重建】3D高斯平面:混合2D/3D光场重建(NeurIPS2025)
人工智能·平面·3d·大模型·aigc·高斯泼溅·空间智能