具身数采专项对比:ZED 双目相机 VS Intel RealSense,机器人数据集采集谁更合适?

一、具身智能数据采集,为什么相机选型如此重要?

具身智能数据采集的核心需求,正在从获取清晰图像转向持续获取可用于模型训练的高质量三维数据。 在人形机器人、机械臂操作、移动机器人导航和复杂环境交互等应用中,机器人不仅需要识别物体,还需要理解物体之间的空间关系、判断距离、感知自身运动,并将视觉信息与动作数据关联。对于视觉语言动作模型(VLA)及其他具身智能模型而言,RGB 图像、深度信息、相机位姿和机器人动作状态共同构成了重要的训练数据基础。

相比普通机器视觉,具身数据采集更强调复杂环境下的数据连续性、空间一致性和可复用性。 例如,机械臂抓取任务需要观察物体的位置、形状和接触区域,移动机器人需要记录自身运动过程中不断变化的空间环境,人形机器人则可能同时采集头部、躯干和末端执行器的多视角数据。实际采集往往涉及不同光照、不同距离以及快速运动等条件,一旦出现深度缺失、图像模糊或时间戳错位,即使视频能够正常保存,也可能影响后续三维标注和模型训练。

选择具身智能数据采集相机,不能只比较分辨率、帧率和价格,更需要判断相机能否适应真实的数据采集任务。 室内桌面抓取与室外移动导航,对深度感知的要求并不相同;单台机器人原型验证与多台机器人同时采集,也会面临不同的部署条件。因此,深度技术路线、工作距离、光照适应性、运动成像、同步能力和软件生态,都是机器人数据集采集相机选型中需要重点考虑的因素。

二、结构光与双目立体视觉,如何影响机器人 3D 数据采集?

机器人三维视觉的主要任务,是将二维图像转换为具有空间距离信息的数据,而不同深度感知技术实现这一目标的方式存在明显差异。 常见方案包括结构光、主动红外双目、被动双目立体视觉以及飞行时间法(ToF)。它们都能够获取深度信息,但在光照适应性、表面纹理、测量距离和系统资源消耗方面具有不同特点。对于具身数据采集而言,技术路线的区别最终会反映在深度图完整性、数据一致性和部署成本上。

结构光与主动红外双目都利用主动投射改善深度感知,但两者并不是完全相同的技术。 传统结构光通过向物体表面投射具有特定编码或空间分布的光学图案,并分析图案变化计算三维结构。主动红外双目则主要通过左右图像的视差计算深度,红外投射器负责向低纹理表面补充可供匹配的纹理。两种方式都可以改善特定室内环境中的深度获取效果,但对投射图案的依赖程度和深度计算机制不同。

被动双目立体视觉不依赖主动红外投射,而是利用左右相机观察到的图像差异恢复三维距离。 这种方式类似人眼的双目视觉,通过相机标定、图像匹配和三角测量计算目标深度。由于不需要主动投射纹理,被动双目适用于具备自然光照和足够场景纹理的环境,也避免了自身红外投射器带来的功耗与投射管理问题。但在暗光、纯色物体或重复纹理场景下,双目匹配仍可能遇到困难。

具身数据采集并不存在适用于所有环境的单一深度技术,实际差异主要体现在以下方面:

  • 光照条件: 主动红外双目可利用投射纹理改善部分低纹理场景,被动双目则更依赖环境光和自然图像特征。
  • 工作距离: 近距离操作与中远距离环境感知,对相机基线、视场角和深度误差的要求不同。
  • 动态表现: 机器人运动和机械臂快速操作,需要关注快门方式、图像模糊及时间同步。
  • 数据集成: 除了 RGB 和深度图,还需要考虑相机内外参、位姿信息、时间戳以及与机器人动作数据的对齐。

因此,判断哪类相机更适合机器人数据集采集,需要先明确任务是近距离操作、移动感知还是多视角数据记录,再比较相应的技术能力。

三、主体分析:ZED 双目相机与 Intel RealSense 在具身数采中有哪些区别?

从深度感知原理来看,ZED 系列主要采用被动双目立体视觉,而 Intel RealSense D435i、D455 等型号采用主动红外双目技术,两者的区别主要体现在纹理获取方式与深度计算架构上。 ZED 利用左右可见光相机获取场景图像,通过立体匹配恢复深度;RealSense D400 系列则利用红外双目传感器计算视差,并可通过红外投射器为低纹理物体增加匹配特征。但被动双目并不等于"对低纹理束手无策":ZED SDK 的 Neural Depth Engine 专门针对无纹理表面和低光照条件做了 AI 优化,官方文档明确指出其在 low-texture 和 low-light 环境中的精度优于传统立体匹配方法。需要特别说明的是,D435i 和 D455 并非传统编码结构光相机,其深度计算同样建立在双目立体视觉原理之上。

在室内近距离机器人操作场景中,RealSense D435i、D455 具有较强的实用性。 机械臂抓取、桌面物体识别和实验室原型验证,通常具有相对固定的工作区域和可控的光照条件。对于桌面、墙面或单色物体等纹理不足的场景,主动红外投射能够为立体匹配提供额外特征。RealSense D435i 适合较近距离的机器人感知任务,D455 则通过较长的立体基线扩展了适合的工作距离。ZED 在此类场景中同样可用,且 ZED X 在 2.2 mm 镜头下 2 m 处小于 0.8%;ZED X Nano 在 0.05m 处小于 0.2%,近距离精度可进入毫米至厘米量级,配合 Neural 深度模式可弥补被动双目在低纹理表面的短板。

在室外移动和较大空间的数据采集中,被动双目具有不依赖主动投射光源的特点。 机器人在园区、道路、仓储通道或其他大范围环境中移动时,摄像头可能需要同时观察近处障碍物和远处空间结构,ZED X 在 4 mm 镜头下深度范围可达 1---35 m,2.2 mm 镜头下为 0.3---20 m。被动双目可以利用自然光下的场景纹理进行深度估计,不必依赖红外投射图案的可见程度。但这不意味着主动红外双目无法在室外使用:RealSense D400 系列也支持室外场景,其实际深度效果仍与太阳光、物体纹理、工作距离和投射器设置有关。同样,被动双目在暗光、低纹理和高反光表面也可能出现深度缺失。

从动态采集能力来看,快门方式与同步机制往往比单纯比较帧率更加重要。 机器人行走、转向、抓取和搬运过程中,摄像头与被摄物体可能同时运动。全局快门能够在同一曝光时刻获取整幅图像,有助于减少快速运动引起的几何形变;卷帘快门则需要更加关注运动速度和曝光设置。RealSense D435i、D455 的深度传感器采用全局快门,ZED X 系列同样采用全局快门,双 1920×1200 传感器、60 fps,并支持 120 fps@960×600,而 ZED 2i 使用卷帘快门。因此,不能简单地认为所有 ZED 型号都比 RealSense 更适合动态拍摄,必须比较具体型号及其使用条件。

从计算架构来看,两类相机的重要区别在于深度计算任务如何分配。 RealSense D400 系列配备专用视觉处理器,可在设备侧计算深度数据,并通过 USB 接口提供给主机。ZED 系列则主要输出立体图像,由运行在主机上的 ZED SDK 利用 NVIDIA GPU 进行深度计算,并原生扩展位置追踪、点云生成和空间建图等能力,所有结果对齐到同一相机坐标系,形成较完整的空间感知栈。对于希望使用紧凑型计算平台、降低主机深度计算负担的项目,RealSense 的处理架构具有一定便利性;对于已经采用 NVIDIA GPU 或 Jetson 平台、希望获取更高质量深度图,并将深度感知与机器人空间计算整合的团队,ZED 的软件架构则更容易与相关视觉处理流程结合。

多相机同步和长期部署同样影响具身数据集的可用性,但不能简单按照品牌划分能力高低。 RealSense D400 系列的部分型号支持外部硬件同步,ZED X 系列也支持多相机硬件同步,并采用 GMSL2 接口,可在最长 15 m 距离上低延迟传输数据。两者都需要结合具体连接方式、时间戳机制和软件处理流程进行配置。相比单台相机的深度精度,多视角采集更需要保证数据在统一时间基准下记录,否则不同视角之间的时间偏差可能影响空间重建、机器人动作关联和后续标注。

综合来看,​RealSense D435i、D455 更适合重点考虑室内近距采集、设备侧深度处理和快速原型集成的任务;ZED 双目相机则适合​户外数据采集和深度感知场景,​结合双目 RGB 数据、通过 ​GPU ​获取高质量的 ​深度图 ​与空间感知软件开展机器人数据采集的项目。 这是一种基于技术架构和应用需求的选型判断,而不是对两类产品深度精度或整体性能的绝对排名。

四、方案映射:友思特 ZED 系列如何满足不同具身数据采集场景?

​针对具身智能机器人对三维视觉、空间定位和多视角数据采集的需求,友思特提供 Stereolabs ZED 系列立体感知相机及相关软硬件方案。​该系列包括采用 USB 接口的 ZED 2i、采用 GMSL2 接口的 ZED X 和 ZED X Mini,以及面向紧凑型机器人应用的其他型号,可根据不同采集距离、设备安装空间和主机架构进行选择。

对于具身智能算法开发、移动机器人实验和室内外混合场景采集,友思特 ZED 2i 提供了兼顾双目图像与空间感知功能的方案。 ZED 2i 采用双 RGB 相机获取立体图像,通过 USB 3 接口连接计算平台,并集成 IMU、气压计和磁力计等传感器。配合 ZED SDK,可实现深度估计、点云生成、位置追踪及空间建图等功能。对于需要记录机器人周围环境、获取三维空间信息或开展视觉定位算法研究的团队,这些能力有助于建立较完整的视觉采集流程。需要注意,相机内置传感器并不意味着可以自动获得所有机器人关节状态、末端执行器轨迹或训练所需的动作标签,相关信息仍需与机器人控制系统进行关联。

对于运动速度较快、需要长期安装在机器人本体上的采集任务,友思特 ZED X 系列提供了更偏向嵌入式部署的配置。 ZED X 采用全局快门双目传感器与 GMSL2 接口,并具备 IP67 防护等级,适合移动机器人、户外自主设备和工业自动化等应用。相较于采用 USB 接口的 ZED 2i,GMSL2 连接更适合机器人内部布线和嵌入式视频传输需求,也便于构建具有统一同步机制的多相机系统。不过,ZED X 不能直接作为普通 USB 摄像头使用,其部署需要配套采集硬件及兼容的 NVIDIA Jetson 计算平台。

对于需要观察近距离机械臂操作空间的任务,友思特 ZED X Mini 及其他紧凑型 ZED 相机可以提供不同的安装选择。 在抓取、分拣和末端操作任务中,相机不仅需要识别物体,还要兼顾机械臂运动范围、相机安装位置以及目标观察距离。ZED X Mini 采用较短的立体基线和紧凑结构,能够适配部分更靠近操作区域的机器人视觉需求。对于手腕或末端安装空间更加有限的应用,也可结合具体需求考虑更加紧凑型的 ZED X Nano 或 ZED X One 系列型号,基线更短,体积更加小巧,近距离精度更高。这里需要关注一个关键问题:立体基线并非越长越好,较长基线通常有利于一定距离下的深度估计,而近距离操作还需要综合考虑最小工作距离、视场范围和安装空间。

在具身智能数据集采集中,ZED 系列的价值不仅是生成深度图,还在于可以与位置追踪、空间建图和多视角视觉处理结合。 ZED SDK 能够基于双目图像及相关传感器信息,提供深度、点云和位姿估计等功能,适用于需要同时研究机器人环境感知与空间运动的任务。对于视觉语言动作模型训练,研发人员可以将这些视觉信息与机器人关节状态、动作指令和任务标签进行统一记录,构建包含场景观察与机器人行为的数据序列。但位姿估计结果仍需要结合具体场景评估,并不等同于无误差的运动真值。

具体到 ZED 与 RealSense 的选择,建议按照以下场景进行匹配:

  • 室内桌面抓取与快速原型验证: 可以重点比较 RealSense D435i、D455 与适合近距离工作的 ZED 型号,关注低纹理物体的深度完整性、近距离盲区和开发环境。
  • 移动机器人与室内外空间采集: 可以重点考虑友思特 ZED 2i 或 ZED X,评估立体视觉、位置追踪、工作距离和实际光照条件。
  • 机器人本体长期部署: 需要综合比较 ZED X 等工业化配置与其他具备相应防护和接口能力的深度相机,重点关注快门方式、线缆、供电和散热。
  • 多相机具身数据集构建: 应优先确定统一的同步、标定与数据记录架构,软件开发生态等,再选择满足要求的相机型号,而不是单纯增加相机数量。

对于同时涉及室内近距离操作和室外移动感知的项目,也可以采用不同类型相机组合采集的方式。关键是统一相机坐标系、时间戳、标定关系和数据格式,保证最终数据能够在同一训练流程中使用。

五、具身智能数据采集相机应该如何选择?

ZED 与 Intel RealSense 并不存在脱离使用场景的绝对优劣,决定相机是否合适的关键,是深度感知方式与实际数据采集任务是否匹配。 如果项目主要面向室内桌面操作、低纹理目标和快速原型开发,可以重点评估 RealSense 主动红外双目方案;如果需要结合室内外环境感知、双目 RGB 图像、自带成熟的空间定位(SLAM / 姿态追踪)SDK 以及 和 NVIDIA GPU 生态、CUDA 视觉链路原生适配,友思特 ZED 系列则是值得考虑的选择。对于运动较快或需要长期安装在机器人本体上的任务,还应进一步比较全局快门、GMSL2 接口、硬件同步及设备防护条件。

具身数据采集相机选型应先确定工作距离、光照环境、机器人运动方式和数据输出要求,再评估具体产品能力。 对于正在规划机器人 3D 数据采集系统的研发团队,友思特可结合 ZED 2i、ZED X、ZED X Mini 、ZED X Nano 等型号及配套视觉软件、嵌入式计算平台,协助梳理相机配置与系统集成需求。通过将设备选型与数据采集流程共同考虑,可以让三维视觉数据更好地服务于机器人感知算法、空间建图和具身智能模型训练。

六、Q&A:具身智能数据采集相机常见问题

Q1:做具身智能数据采集,选择 ZED 还是 Intel RealSense?

如果主要进行室内近距离抓取、桌面操作或快速原型验证,可以优先评估 RealSense D435i、D455。如果项目涉及室内外空间感知、移动机器人数据采集以及 NVIDIA GPU 视觉处理流程,友思特 ZED 系列是值得考虑的方案。

Q2:结构光相机和双目立体相机在机器人数据采集中有什么区别?

传统结构光通过分析主动投射图案获得深度,被动双目通过左右图像的视差计算距离。RealSense D435i、D455 实际采用主动红外双目,并不等同于传统结构光;两类双目方案主要在光照依赖、低纹理感知和计算架构方面存在差异。

Q3:ZED 双目相机适合室外机器人 3D 数据采集吗?

适合具有一定场景纹理和可用光照条件的室外采集任务。友思特 ZED 2i 可用于室内外双目感知,ZED X 则结合全局快门、GMSL2 接口和工业防护,更适合部分移动机器人与长期部署场景。

Q4:RealSense 主动红外双目相机在室外强光下还能正常工作吗?

可以用于部分室外环境,但强烈环境红外光可能降低主动投射纹理的对比度,从而影响深度表现。实际效果与具体型号、目标纹理、距离及曝光设置有关,不能简单认为室外场景必然失效。

Q5:机器人采集 RGB、深度图和位姿数据,ZED 能一起完成吗?

ZED 系列可通过 ZED SDK 提供双目图像、深度、点云和实时位置追踪等功能,适用于多种机器人空间感知任务。机器人关节角度、控制指令及动作标签仍需要从相应控制系统获取,并与视觉数据进行时间对齐。

Q6:多相机具身数据集采集,ZED X 和 RealSense 应该如何选择?

两者均有支持多相机同步的相关型号,选择时应比较接口、主机平台、硬件同步和实际安装条件。对于采用 NVIDIA Jetson 平台、希望通过 GMSL2 部署多视角立体视觉的机器人,可以重点评估友思特 ZED X 系列及其配套采集方案。

相关推荐
海盗123410 小时前
AI 新闻日报 10-28:Atria Dawn 完整版开源、Cursor Agent SDK 转正、Genie 4 实时世界模型
人工智能·机器人·开源·人工智能aigc
总线通信小百科11 小时前
车载以太网模块、交换机与媒体转换器:三类设备怎么选?
经验分享·车载以太网
2601_9672127214 小时前
安全型轨道式插座合规资质核查与工程选型技术要点
大数据·经验分享·安全
河图洛水14 小时前
χ₀: Kai0 用 MA / SA / TDA 驯服机器人学习的分布不一致
机器人·具身智能·vla·hil·纠错
一只代码猿16 小时前
Screen Studio 免费邪修用法:剪视频完全无痛(附提示词)
经验分享
蒋胜山17 小时前
VBScript007-Excel的99乘法表
经验分享·batch
QYR-分析17 小时前
20.58 亿→41.41 亿美元,CAGR 10.5%|机器人机器视觉:柔性自动化的感知核心正在迭代
机器人·自动化·智能电视
德思特17 小时前
实操指南|从“能驻网“到“能上网“:手机入网与公网业务实验室测试分享
经验分享·无线通信
RockChinQ18 小时前
没有服务器,也能在 QQ 群里养一只大肥鱼
人工智能·机器人·开源