友思特产品 | ZED SDK 5.1 全新发布:助力机器人多相机感知技术再攀新峰

导语

友思特合作伙伴Stereolabs ZED SDK 5.1 突破机器人平台实时多相机感知技术极限,全新重构采集与录制管道,升级增强型位姿追踪功能,新增近距深度感知能力,且官方原生支持 Jetson Thor 平台。本次版本迭代让 ZED 全生态体系,在工业场景中运行更高速、更稳定、更全能。

全新升级亮点

1. 为机器人场景重构高性能采集系统

图像采集系统完成全新重构,全面支持实时低延迟多相机系统。ZED SDK 5.1 全新采集架构,在采集、录制、流媒体传输过程中,实现性能、可靠性双提升,延迟进一步降低。

在 Jetson 嵌入式设备上,流传输延迟现已低至 100 毫秒以内,为自主控制系统与远程操控打造更流畅的反馈闭环。录制负载亦大幅优化,SVO2 录制模式的系统资源占用更少,长时连续录制的稳定性显著增强。

NVIDIA Jetson AGX Thor 开发套件和 ZED 2i

基于 ZED Driver 1.3.1 版本,我们新增PREEMPT_RT 实时抢占内核模式支持,为高时效性关键应用提供更强的操控性与低延迟响应能力,适配全系列 ZED Box、ZED Box Mini 及 NVIDIA AGX Orin 开发套件。

2. 原生支持 Jetson Thor 平台

ZED SDK 5.1 同步适配英伟达全新嵌入式平台 Jetson Thor,兼容 JetPack 7 开发套件,并搭载基于 Ubuntu 24.04 系统的全新板级支持包(BSP)。ZED 相机可充分发挥 Thor 的算力优势,性能提升最高达 2.5 倍,赋能边缘端实现更丰富的感知能力(硬件编解码功能将随后续 JetPack 版本更新正式上线)。

ZED SDK 性能

3. ZED Studio 全新登场:单应用集成,无限相机掌控

多相机感知已成为新一代机器人技术的标配方案。全新打造的 ZED Studio 工具,将所有相机、流传输及 SVO 文件管理功能,一站式整合至单款一体化应用中。

全新 ZED Studio 多相机SDK

可同时查看并操控多台相机,录制同步数据流,并按需自定义布局,统筹回放内容与实时画面。

ZED Studio 核心功能支持:

✅ 多相机实时可视化与同步录制

✅ 同步回放及流传输管理

✅ 相机参数群组统一管控

✅ 自动化命令行启动配置

Windows 系统下,ZED Studio 已替代旧版查看器,成为打开 SVO 文件的默认应用程序 ------ 为 ZED 生态管理打造统一跨平台操作界面,体验更一致。

4. Isaac™ ROS 集成:ROS 2 实时性能全面加速

ZED ROS 2 封装包完成重磅更新,实现与英伟达 ®Isaac™ ROS 框架无缝集成,助力开发者充分利用英伟达 GPU 算力,高效完成实时感知及计算机视觉任务。

依托 NITROS(英伟达 ®Isaac™ ROS 传输协议),相较传统 CPU 传输方案,该封装包的图像话题发布延迟降低高达 90%。这一性能跃升源于 GPU 内存共享机制,可彻底消除 CPU 与 GPU 之间高损耗的数据拷贝环节。

**最终实现:**数据流传输提速、CPU/GPU 算力负载降低,为高负载机器人及 AI 应用,打造更流畅、更高效的 ROS 2 处理管道。

**5.近距深度感知能力重磅升级

全新升级的深度模块,实现厘米级近距感知精度,成为操作、装配、检测类机器人的核心技术突破。即便目标物体仅距相机数厘米,也能输出稳定无伪影的深度数据 --- 完美适配机械臂、人形机器人、夹爪、末端执行器及近场场景重建等应用场景。

近场场景下的自校准能力同步优化,对复杂工况的适配性大幅提升,可自动诊断并修正相机潜在标定偏差,保障设备 7×24 小时稳定可靠运行。

RGB 图像(DROID 数据集)

ZED SDK 5.0 版深度图 VS ZED SDK 5.1 版深度图

6. 面向实际部署场景的高鲁棒性 : SLAM 方案

第三代位姿追踪模块全面强化,抗动态遮挡、抗图像失真能力大幅提升,可从容应对更复杂的环境与动态移动物体,同时始终保持精准定位。

视觉 SLAM 关键帧

全新SPATIAL_MEMORY 空间内存状态功能,可在相机重定位及回环检测过程中提供更详实的状态反馈,助力工程师便捷监控定位与追踪性能。

更新后的示例可视化工具中新增的视觉 SLAM 2D模式

ZED SDK 5.1 新增2D 地面追踪模式,专为地面移动机器人及轮式设备打造。该模式将追踪范围约束于运动平面,有效减少定位漂移,大幅提升厂房车间、室内导航等平面场景下的定位精度。

此外,SLAM 代码示例同步升级,搭载更直观的可视化界面,各类定位状态与关键事件均可一键清晰呈现。

7. ZED X One 采集性能跨越式提升

依托全新实时虚拟立体视觉 API(Live Virtual Stereo API),双 ZED X One 相机搭建立体成像对的效率实现质的飞跃,CPU 算力效率提升约 2.5 倍。开发者可通过 SDK 直接配置虚拟成像对,甚至支持未标定模式开展 SVO 录制或原始图像流传输,满足后期校准需求。

此次升级也正式宣告 ZED 媒体服务器(ZED Media Server)时代落幕,其原有功能已全面整合至 SDK 原生虚拟立体视觉工具中,且性能实现全面超越。

优化后的虚拟立体视觉 CPU 负载

8.原生鱼眼标定功能全新上线

ZED SDK 5.1 原生支持 OpenCV 鱼眼标定文件,实现 ZED SDK 系列相机对鱼眼镜头的直接适配应用。这一功能可助力开发者轻松将广角鱼眼镜头集成至现有业务流程,是搭建大视场角导航系统或全景视觉设备的核心必备能力。如需为 ZED 相机搭配鱼眼镜头完成标定,可查阅 GitHub 官方开源仓库。

原始鱼眼视图

校正后鱼眼视图

9. 更广泛的兼容性,更精简的安装程序

ZED SDK 5.1 新增多项核心开发环境原生支持:

✅ 支持 CUDA 13

✅ 支持 JetPack 7

✅ 支持 Python 3.14

✅ 支持 C++17 及 C++20 标准

Python 开发者可通过CuPy 集成实现 GPU 数据传输提速,配套全新示例脚本,直观展示深度感知与目标检测功能的优化调用方式。

SDK 安装包同步完成轻量化优化,Linux 系统下搭载 TensorRT 10 的安装包体积缩减 40%;Docker 镜像实现版本化管理,助力部署流程更便捷、开发环境复刻更高效。

结语:新一代空间AI感知方案

友思特合作伙伴Stereolabs ZED SDK 5.1 绝非只是进行了简单的版本迭代,更是空间 AI 技术在效率、精度、灵活性上的跨越式升级。从优化的多相机采集、厘米级近距深度感知、增强型 SLAM 算法,到 Jetson Thor 平台原生支持、全新 ZED Studio 工具上线,ZED 全生态模块均完成深度迭代,助力您打造更高速、更智能、更可靠的视觉感知系统。

即刻体验全新能力?立即下载 ZED SDK 5.1,突破机器人与智能应用的视觉感知边界。

相关推荐
数字孪生家族8 小时前
智慧仓储新纪元:视频孪生与空间智能如何重塑物流管理体系
人工智能·空间智能·视频孪生·智慧仓储系统·智慧仓储管理的技术
杀生丸学AI8 天前
【平面重建】3D高斯平面:混合2D/3D光场重建(NeurIPS2025)
人工智能·平面·3d·大模型·aigc·高斯泼溅·空间智能
老吴学AI10 天前
李飞飞 — 从文字到世界:空间智能是人工智能的下一个前沿领域
人工智能·空间智能
怪我冷i16 天前
Zed编辑器快速入门
vscode·rust·编辑器·zed
怪我冷i17 天前
Zed编辑器安装与使用Agent Servers(腾讯CodeBuddy、阿里百炼Qwen Code、DeepSeek Cli)
人工智能·编辑器·ai编程·ai写作·zed
友思特 智能感知21 天前
ZED 相机 × Jetson Thor:赋能机器人全场景高性能视觉,解锁边缘感知无限可能
机器人·双目相机·空间智能
美林数据Tempodata2 个月前
李飞飞最新论文深度解读:从语言到世界,空间智能将重写AI的未来十年
人工智能·ai·空间智能
数字孪生家族2 个月前
视频孪生与空间智能:重构数字时空认知,定义智能决策新范式
人工智能·重构·空间智能·视频孪生与空间智能
杀生丸学AI2 个月前
【视频生成】GVS:生成式视图拼接
3d·aigc·slam·跨模态·三维重建·视觉大模型·空间智能