Trossen×Stereolabs:ZED X Mini + ZED X Nano 集成双臂平台,训练级示教数据这样采

一、训练级示教数据瓶颈

随着 模仿学习 与 强化学习 规模化落地,示范数据的图像质量与端到端采集延迟成为瓶颈。传统方案以消费级 USB 相机为主:分辨率多为 720p 级别、依赖 CPU 中介管线、卷帘快门在高速运动下产生运动模糊,多相机数据流存在时间漂移,难以支撑高质量训练。

图6 Stereolabs ZED X Mini(全局场景 + 立体深度)

二、工程方案:三相机双臂平台

Trossen Robotics 与 Stereolabs 的合作给出了工程化答案:将 ZED X Mini 、ZED X Nano 集成至 Workbench 固定式与 Rivet 移动式 双臂平台 。双 WidowX Pro 六自由度机械臂(工作范围 700--1000 毫米、载荷 4--6 千克、重复精度 1 毫米)搭配板载 NVIDIA Jetson AGX Orin 64 GB,出厂即完成三相机视觉系统标定。

图8 ZED Box 2 连接 4×ZED X 与 4×ZED X One S,实现 8 相机环视

三、技术要点:全局快门·近距深度·同步

视觉架构对标先进操纵策略的训练方式:中央 ZED X Mini 提供全局场景与立体深度上下文,腕部 ZED X Nano 提供夹爪与物体近距画面。ZED X Nano 采用双 2.3MP(1920×1200)全局快门传感器,无卷帘运动模糊;神经深度引擎从 3 厘米起解析几何;GMSL2 连接配合锁紧、抗 EMI 线缆,三相机确定性同步;零拷贝管线让录制、编码、推理并行,无静默丢帧;板载防振 IMU 保障高速运动下腕部视角可用。

图7 Stereolabs ZED X Nano 腕部相机(GMSL2 零拷贝管线)

四、 数据生态:RGB+深度直达训练

每一组遥操作示教均输出为干净、同步、多视角的 RGB+深度训练样本,可直接用于 模仿学习 、强化学习 与 sim-to-real 工作流,原生支持 ROS 2 、NVIDIA Isaac Sim /Isaac Lab。配套的 ZED Box 2 系列支持最多 8 路 GMSL2 相机硬件同步环视,Max 版本峰值 2070 FP4 TFLOPS,可机载运行视觉-语言-动作(VLA)模型。

五、落地价值:从集成走向策略

对机器人团队而言,这套方案把精力从"集成与标定"释放到"数据与策略",是 Physical AI 从实验室走向工业部署的关键基础设施。

产品 典型应用场景 解决的痛点问题
ZED X Mini 双臂平台全局感知、工作空间建模、全局策略训练 标定不统一、全局场景缺失、户外远距感知弱
ZED X Nano 腕部近距抓取、精细操作示教数据采集 运动模糊、近距深度盲区、多视角时间漂移
ZED Box 2 系列 AMR 环视、人形机器人感知、多相机数据采集、工业机械 多相机同步难、算力分散、接口繁杂、部署周期长
Workbench / Rivet 模仿学习/强化学习数据采集、遥操作研究、双臂操作开发 自行组装成本高、数据质量低、集成标定周期长

表1 应用场景与痛点对照

六、应用场景

本稿主推的 ZED X Mini / ZED X Nano 与 Trossen Workbench / Rivet 平台,主要应用于:具身智能 与 Physical AI 示范数据采集(模仿学习 、强化学习 、sim-to-real );双臂精密操作与抓取研究;移动操作平台与遥操作开发;以及 AMR 导航、人形机器人感知、仓储物流自动化等 机器人视觉 场景。配合 ZED Box 2 系列边缘 AI 一体机,可覆盖从实验室数据采集到工业规模化部署的完整链路。

七、解决痛点问题和解决方案

传统自组装采集方案存在分辨率偏低、标定不一致、运动模糊、多视角时间漂移、集成调试周期长等痛点。本方案通过"全局+近景"三相机视觉架构(ZED X Mini + 2×ZED X Nano )、GMSL2 确定性同步与零拷贝管线、出厂标定一体化平台,输出干净、同步、多视角的 RGB+深度训练样本,将团队从相机集成与标定中解放出来,专注数据与策略,加速 Physical AI 从实验室走向工业部署。

更多相关资讯,欢迎关注 "欣佰特科技" ,持续为大家带来 "具身智能领域"前沿技术及应用!详情可邮件咨询sales@cnbestec.com

相关推荐
cnbestec2 天前
ZED Box 2 Series 发布:8路GMSL2同步+Jetson Thor,量产机器人的边缘AI计算机怎么选
zed相机·stereolabs·zed双目3d相机·gmsl2·zed box 2·zed box 2 max·边缘ai计算机
cnbestec2 个月前
机器人 3D 相机怎么选?ZED 系列六大产品线参数横向对比与开发避坑指南
机器人视觉·zed相机·zed x nano 3d相机
cnbestec2 个月前
腕部视觉新标杆:ZED X Nano双目3D相机 如何解决机器人近距离感知的“最后一公里“
zed相机·stereolabs·zed双目3d相机·zed x nano 3d相机·zed x nano·zed x
cnbestec5 个月前
工业视觉开发实战:ZED 双目 + 单目相机组合如何解决料箱拣选与高速上下料难题
工业相机·工业自动化·视觉感知·zed相机·stereolabs·zed双目3d相机
cnbestec6 个月前
Stereolabs ZED 双目相机:人形机器人具身智能的高保真视觉底座
zed·stereolabs·zed双目相机
cnbestec6 个月前
体积缩减40%:Stereolabs 推出 ZED X Nano 腕部微型双目3D相机
zed相机·stereolabs·zed双目3d相机
AndrewHZ10 个月前
【图像处理基石】VR的眩晕感是如何产生的?
图像处理·算法·计算机视觉·vr·cv·立体视觉·眩晕感
cnbestec10 个月前
第一集:如何训练能“看懂、听懂、动手”的机器人?Trossen 系列视频揭秘VLA模型实践路径
具身智能·vla·aloha·trossen·trossen机器人
cnbestec10 个月前
紧凑空间感知突破:ZED X One S / Core 赋能机器人视觉升级
zed相机·stereolabs·zed单目相机·zed x one s·zed x one core