一、具身智能数据采集的瓶颈，不是"拍到了"而是"每一帧都可训练"
具身数据的因果链，比普通视频更脆弱。训练模仿学习或视觉---语言---动作模型时，模型需要把同一时刻的相机图像、深度或点云、机器人本体状态、控制动作与任务结果关联起来。若相机帧稍快、关节状态稍慢，网络可能学到"看到杯子后手指才伸过去"的伪因果，而不是真实的抓取策略。国家标准《人工智能具身智能数据质量规范 第 1 部分：真实数据》要求多模态数据采用统一时间基准实现软硬件时间同步，并记录观测数据与执行器动作数据。
立体视觉提供的是可直接计算的空间关系。单目 RGB 能够识别物体类别，却无法从单帧稳定反推出每个像素的距离；主动 ToF 依赖发射器和反射特性，在近处点云稠密，但强反光、吸光材质与阳光环境下需要额外处理。双目立体相机通过左右图像的视差估计深度，天然同步输出左右 RGB 和视差图，在导航、避障、物体定位、轨迹复现以及仿真场景重建中可以直接提供三维约束。
真实数据不可替代，但规模成本也最刚性。NVIDIA 高级研究科学家 Jim Fan 在与红杉资本的对话中表示："如果你只在真实机器人上收集数据，每天只能收集 24 小时的数据。"这不是说真实遥操作没有价值，而是说明它应优先覆盖关键交互、失败边界和 Sim2Real 验证；把传感链路、动作记录和格式管理做好，才能把有限的真机小时转化为可复用的高价值数据。
二、从二维图像到三维动作样本，3D 相机要同时满足五类工程要求
同步必须落到"同一物理时刻"，而不是只给文件打一个时钟。60fps 的相邻帧间隔约 16.7 毫秒。若相机、IMU 与机器人状态源各自使用独立时钟，即使名义采样率相同，连续动作仍会出现可见时序错位。硬件触发或共享触发总线比纯软件时间戳更可靠；采集同步记录相机曝光时刻、IMU 采样时刻、机器人控制周期，便于事后评估时序误差、定位丢帧。
全局快门、帧率和曝光共同决定高速末端动作的可用性。抓取、插拔、折叠等任务中，手腕和手部会高速进入画面。卷帘快门在横向运动或机身振动时会产生倾斜、拉伸和滚动伪影，随后在深度图和物体边界上放大误差。全局快门更适合动作密集的腕部视角；头部全局快门则可降低机身移动造成的图像畸变。
深度不能只报一个最大量程。立体匹配精度与基线长度、像素分辨率和目标距离共同相关。近距离精细操作需要短基线、高像素密度和可靠的最近工作距离；远距离导航需要更长基线和更宽视场。仅比较"最大测距"无法判断 3 厘米处的夹取稳定性，也无法判断 8 米处的可通行区域质量。
外参、内参和安装位姿决定数据能否跨本体复用。GB/Z 218.1---2026 的征求意见稿要求相机、传声器、力觉传感器、IMU 等传感器准确标定，并在物理碰撞、更换末端执行器等变化后重新评估。相机装在头部、腕部、胸前的意义不同：头部负责全局场景理解，腕部负责手---物关系，胸部或侧视可补足遮挡。若安装偏移、镜头畸变和相机---机械臂变换没有固化到数据集，模型学到的不只是操作策略，还有某台样机的专属几何。
数据治理与模型结构同样重要。标准还强调记录场景类型、场景描述、采集者标识和配置参数等上下文元数据，同时保存成功、失败、人工接管和意外事件。仅保留成功示范会让策略形成"从未失手"的幻觉；把失败、恢复动作和接管标签一起保留，模型才更容易学到何时停止、重规划和请求人工介入。
三、ZED 立体相机的选型逻辑：短基线抓细节，长基线看全局
ZED X 系列把立体采集、IMU 和长距离传输放在同一机器人链路中。友思特合作伙伴 Stereoabs ZED X 采用 120 毫米立体基线，ZED X Mini 采用 50 毫米基线，ZED X Nano 采用 18 毫米基线；三者均提供双 1920×1200、60fps 全局快门、高性能 IMU 和 GMSL2 接口。基线越短，越容易布置在腕部、夹爪根部或狭小空间，近距离物体也更不容易因左右视图差异过大而失配；基线越长，则更有利于获得更明显的视差和更稳定的远距深度估计。
ZED 2i 更适合固定工位、桌面操作台和早期算法验证。它采用双高分辨率 RGB 传感器，最高视场达到 120°，集成 IMU、气压计、磁力计和温度传感器，通过 USB 3.1 提供 1080p@30fps 双目视频与深度。其优势是视场广、环境传感完整、软件生态成熟；若系统已有 USB 算力节点且没有 GMSL2 板卡，它比工业级 GMSL2 机型更容易快速搭建第一版数采台。
ZED X One 适合用单目模块组建多视角或外部基线阵列。需要围绕工位布设 4 路、8 路甚至更多视角时，使用多个全局快门单目相机并精确标定，可以主动设计覆盖区域、遮挡余量和基线。自定义基线的灵活性高于固定基线双目，但同步、外参和热漂移控制也完全由系统集成者承担，不适合仅追求"插上就用"的团队。
| 场景与主要目标 | 更适合的 ZED 选型 | 应优先控制的变量 |
|---|---|---|
| 头部环境感知、室内外导航 | ZED X 120mm 基线 | 视场、远距深度、GMSL2 线缆、振动 |
| 机械臂桌面抓取与眼在手外 | ZED X Mini 50mm 基线 | 工作距离、相机 --- 基座标定、遮挡 |
| 腕部第一视角、灵巧操作 | ZED X Nano 18mm 基线 | 体积重量、线缆、近距视差、腕部振动 |
| 多目无本体或全屋示教阵列 | 多个 ZED X One | 统一触发、外参、时钟与存储带宽 |
| 快速算法验证、低成本桌面台 | ZED 2i | USB 带宽、30fps、安装姿态、环境光 |
具身智能数采场景需求对照整理
GMSL2 解决的是数据链路，不等于自动解决数据质量。GMSL2 允许相机远离算力节点，减少机器人本体上的 USB 集线器、供电和信号衰减问题，也更适合头部、腕部与底盘多路长线布置。但原始双目 RGB、深度、IMU 和机器人状态仍会同时争用存储与 PCIe 带宽。以双路 1920×1200、60fps RGB 估算，未压缩数据流可超过 3Gbit/s；实际系统必须在 NVMe 分区、帧缓存、H.264/H.265 录制和原始帧保留策略之间做取舍。
SDK 的价值在于缩短从设备到训练样本的距离。友思特合作伙伴 Stereoabs ZED SDK 提供深度、运动感知和空间 AI 能力，并提供 C++、Python、ROS 示例。对于数采平台，关键不是"能调用几个 API"，而是能否同时取得左右图像、深度、IMU、姿态、时间戳、相机标定参数和录制文件，并把这些字段写进统一元数据。已有生态还可与 NVIDIA Isaac Sim、Unity 3D 等仿真工具衔接，用于把真机轨迹回灌到数字环境中复现和扩充场景。
四、工程化落地：四个环节决定数据能否进入训练集
安装前先定义坐标系和数据契约。明确相机相对机器人基座、工具中心点、末端执行器和地图原点的变换，统一四元数、欧拉角、毫米与米、左手与右手坐标系。数据集元数据应保存固件版本、镜头型号、标定文件哈希、相机序列号、采集软件版本、机器人状态、任务名称、成功与否、接管事件和场景描述。提前定义这些字段，比后期清洗 100TB 视频便宜得多。
同步与标定必须在线自检。每轮采集前可执行短标定片段，检查左右图像时间戳、IMU 与图像偏差、相机---机械臂重投影误差，以及各路流是否连续。发生强烈碰撞、拆装腕部相机、更换夹爪或电缆后，应重新标定并记录新标定版本。这样既能按标准维护数据一致性，也能避免把几何误差误判为策略失败。
场景矩阵比无差别堆时长更有效。深度学习方法通常更关注光照、物体位姿、背景、遮挡和材质变化，而不是视频总长度。建议在同一任务下系统覆盖顺光与逆光、浅色与深色桌面、透明杯与反光包装、不同距离、不同操作手和失败恢复，并保留人工接管前后的完整片段。空间智能研究者李飞飞在公开访谈中指出："Language captures only a subset of human knowledge. Much of what we know comes from interacting with the world, often without using language at all."这提示数采团队应把真实交互、动作结果和物理结果纳入样本，而非只保留屏幕画面。
录制端就要为模型训练准备接口。对每一条轨迹输出统一编号、图像帧目录或视频文件、动作序列、相机与机器人标定参数、任务文本、成功标签和失败原因；同步保存原始录制副本。这样可直接转成 LeRobot 格式、Parquet/Arrow、ROS bag 或自研数据湖，无需对文件名、目录和字段反复编写一次性脚本。
五、总结：ZED 适合承担三维感知主链路，但不能替代完整数采系统
友思特合作伙伴 Stereoabs ZED 的核心价值是"可计算的双目空间观测" 对具身智能团队而言，它不只是摄像头，而是把左右 RGB、深度、IMU、姿态和 SDK 工具链组织成一条可直接进入机器人系统的感知链路。ZED X 系列适合把数采平台从实验桌迁移到头部、腕部和多路 GMSL2 机器人系统；ZED 2i 适合快速搭建验证环境；多个 ZED X One 则可服务外部基线多目阵列。
选型本质是"工作距离---精度---体积---带宽"的联合决策 腕部精细操作优先短基线、小体积和全局快门；桌面眼在手外抓取优先平衡视场、工作距离和基线；头部导航优先远距深度、防护与稳定传输；多目阵列则要把同步、外参和存储作为独立项目来管理。只按最大测距或最高像素选择相机，容易在最后的数据对齐环节暴露代价。
数据质量的最终责任仍在系统架构，而不是单一相机型号 ZED 系列能够提供几何、时序和软件层面的基础能力，但真机数据的可用性仍取决于触发同步、相机---机器人标定、动作记录、元数据和失败样本治理。把这些环节与立体视觉一并工程化，ZED 才真正能成为具身智能数据飞轮中的高价值输入端。
FAQ
Q1：ZED 相机能不能直接用于具身智能数据采集？
可以。友思特合作伙伴 Stereoabs ZED 立体相机可同时提供左右 RGB、深度、IMU、运动信息和统一时间戳，适合真机遥操作、移动机器人导航、机械臂抓取、多视角示教与仿真闭环；但最终可用性仍取决于多机同步、外参标定、动作记录和存储设计。
Q2：做机器人数据采集，为什么不能只使用单目 RGB 相机？
单目图像擅长语义识别，却无法从单帧稳定恢复每个像素的距离。抓取、避障和轨迹复现需要物体深度、相对尺度、遮挡关系和相机运动信息；立体深度或 RGB---深度融合可减少手部与物体的空间歧义。
Q3：ZED 2i 和 ZED X 系列应如何选择？
友思特合作伙伴 Stereoabs ZED 2i 采用 USB 接口、即插即用，最高支持 100fps、适合快速验证和广视场场景，部署门槛较低；ZED X 系列采用全局快门、GMSL2 和 IMU，更适合安装在机器人头部、腕部或多路系统中进行连续数采。选择时应先看帧率、接口、工作距离和安装空间。
Q4：使用 ZED X Nano 做腕部采集，深度精度是否一定最高？
不一定。18mm 短基线便于小型化部署，适配腕部近距离视角；但在相同分辨率下，更长基线会产生更大视差，远距离深度精度更好。选型需要将基线、镜头、工作距离、深度误差与任务需求匹配，不能仅以相机体积作为判断依据。
Q5：一台 ZED 相机就能完成多传感器同步吗？
单台相机内部可以把图像、IMU 和姿态置于同一软件链路，实现数据同步。但机器人关节、力控、其他相机和主控仍需外部触发或共享时钟。国家标准要求多模态数据实现时间同步并采用统一时间基准，因此多设备系统必须单独设计同步与对齐评估。
Q6：ZED 采集的数据能否直接用于 LeRobot 或其他训练框架？
可以作为主要观测源。只要把左右图像或深度、机器人状态和动作、时间戳、相机---机器人标定、任务标签、成功或失败及元数据组织成统一格式，就能转换为 LeRobot、Parquet/Arrow、ROS bag 或自研数据集。难点在数据契约，不在相机本身。