|----------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
| ▶ 核心摘要一句话总结：OAK 双目相机现已内置出厂标定，将相机、IMU 与设备外壳统一到同一坐标系中。这一标定补偿了真实世界的制造公差，使相机与 IMU 数据的融合、点云与物理设备的对齐以及机器人集成变得更加容易。验证结果表明，新标定将相机到 IMU 的对齐误差从约 1.16° 降低至 0.38°，开箱即用的多传感器融合一致性显著提升。 |
OAK 相机搭载了丰富的传感器：每台设备都配备一个 IMU（OAK-1系列除外），以及一到三颗 RGB/黑白相机，有时还会额外集成一颗 ToF传感器。每一颗传感器都从各自独有的视角、各自独立的坐标系中采集数据。然而，当我们需要将这些测量结果映射到真实世界时，问题就来了 ------ 机器人、机械臂、车辆都存在于现实世界中，它们需要把来自传感器的所有数据转换到一个世界坐标系中。
从"传感器空间"到"世界空间"的转换，一直是 OAK 设备上缺失的一个环节。而今，这问题已然解决。
那么，如何从传感器数据连接到任何物理上附着于外部世界的参照物呢？仅有的两条直接纽带：其一是通过 IMU 传感器可测得的重力矢量 ，其二是设备本身的物理结构 ------ 例如通过 VESA 支架，我们可以将设备固定到一个已知的精确位姿上。
从设备外壳到其他所有传感器（包括 IMU）的精确坐标变换，正是此前唯一缺失的信息。而这也正是现在每一台新出厂的设备都将随附的功能。
从理论上讲，所有坐标系都可以从设备的机械设计中获知。但在实际生产中，每台组装完成的设备都存在微小的制造公差。传感器安装得相当精确，但并非完美。此外，IMU 传感器还携带固有的偏置误差，需要额外补偿。因此 精确的出厂标定至关重要。
此前，OAK 设备的出厂标定主要集中在相机传感器之间的内部校准上。双目深度、立体校正、空间人工智能和点云生成都依赖于精确的相机间几何关系。如今，所有 OAK 双目相机还将完成设备外壳和 IMU 的出厂标定。这形成一个完整的系统：相机、IMU 和物理设备外壳通过一个统一的标定几何模型彼此连通，所有数据均可转换到环绕我们的现实世界。
为什么这件事很重要？
设想你正在将一台相机通过 VESA 支架安装到机器人上。机器人清楚地知道支架的位置，但相机内部的传感器并没有按照 CAD 模型的理想位置完美就位。
制造工艺极其精密，但并非完美。每台组装完成的设备都因生产公差而存在细微的差异。IMU 也会引入因设备而异的微小测量偏置。
这些差异非常微小，通常只有几分之一度，但在构建高精度机器人、地图构建或视觉惯性系统时，其影响不容忽视。
出厂标定会为每一台设备单独测量这些真实世界的偏差。
最终形成一条完整的标定链路，将以下三者连接在一起：
|------------|
| 每台相机 |
| IMU 惯性测量单元 |
| 设备的物理外壳 |
这意味着，所有传感器数据现在都能准确地关联到外部世界。
▶ 两类坐标系
OAK 设备提供两类坐标系统。
第一类是 原生传感器坐标系（Native Sensor Frames）：
|-------|
| CAM_A |
| CAM_B |
| CAM_C |
| IMU |
它们代表每颗传感器自然采集数据时所处的坐标系。
第二类是 外壳坐标系（Housing Coordinate Systems），它们与物理设备本体绑定：
|-------------------|
| 安装位点（如 VESA 支架位置） |
| 前面板参考坐标系 |
| 外壳对齐后的传感器坐标系 |
当你把相机"作为一个物理对象"时，外壳坐标系就显得格外有用。
一个重要的区别在于原生传感器坐标系与其外壳对齐对应坐标之间的差异。
举例来说：
|-------------------------------------|
| CAM_A ------ 相机的原生光学坐标系 |
| Housing.CAM_A ------ 原点相同，但坐标轴与外壳对齐 |
同样的逻辑也适用于：
|-----------------------------------|
| IMU ------ 原生 IMU 坐标系 |
| Housing.IMU ------ 外壳对齐后的 IMU 坐标系 |
二者共享相同的物理位置，但在制造装配后其朝向可能存在微小差异。出厂标定所测量的，正是这个差异。
如需获取完整的可用坐标系列表、各自的含义以及用于检索坐标系间变换的当前 API，请参阅官方 DepthAI 文档中的 "Coordinate Systems"（坐标系统） 章节。
▶ 为什么不能直接用 CAD 模型？
理论上，每个传感器的位置早已在机械设计中确定。
现实中，每台组装完成的设备都略有不同。
即便是微小的装配公差也会累积叠加，导致传感器的真实朝向偏离理想的 CAD 模型。如果不测量这些偏差，所有下游应用都将继承这些误差。
出厂标定通过 测量每台设备的实际几何关系，消除了这一不确定性。
一个统一的参考坐标系
一旦有了外壳和 IMU 的标定数据，每一份测量结果都可以在同一个物理坐标系中表达。
例如：
|----------------|
| · 相机检测到一个三维空间点 |
| · IMU 测量到重力矢量 |
| · 机器人已知相机的安装位姿 |
它们无需各自停留在自己的坐标系中，而是可以全部转换到一个统一的外壳坐标系下。
这使众多应用场景的落地难度大幅降低：
|-------------------------------------|
| 机器人 ------ 传感器数据直接关联到物理安装位 |
| 视觉惯性里程计（VIO） ------ 相机与 IMU 测量值一致使用 |
| 多传感器融合 ------ 在同一坐标系中组合多个传感器 |
| 标定验证 ------ 直接比较独立测量结果 |
|--------------------------------------|
| OAK 相机不再仅仅是经过标定的双目相机，而是经过标定的物理传感器系统。 |
▶ DepthAI 直接展示已校准后的坐标变换
DepthAI 直接对外暴露已标定的坐标变换。
应用程序可以请求相机坐标系与外壳坐标系之间的变换关系。
例如，可以从 CAM_A 到 VESA_A 获取变换，使得相机测量的三维点能够直接表达为相对于安装接口的坐标。
此外，许多节点也可以直接在外壳坐标系中工作。
以 PointCloud（点云）节点为例，它可以在相机坐标系或任何支持的外壳坐标系中生成点云。无需事后再逐点变换 ------ 直接选择所需的输出坐标系即可。
IMU 沿用相同的思路。
请求以下原始数据：
|----------------------------|
| ACCELEROMETER_UNCALIBRATED |
| GYROSCOPE_UNCALIBRATED |
将返回原生 IMU 坐标系中的测量值。
而请求经标定的数据：
|--------------------------|
| ACCELEROMETER_CALIBRATED |
| GYROSCOPE_CALIBRATED |
则将应用标定校正，产生与外壳坐标系（Housing.IMU）对齐的数据。
▶ 标定验证：ChArUco 与 IMU 重力对齐实验
为验证整套标定链路在实际中的表现，我们进行了一项 ChArUco 标定板与 IMU 重力矢量对齐实验。
实验的目的不仅仅是检查标定数值 ------ 而是要确认两种完全独立的传感器是否对真实世界达成了一致的描述。
实验步骤如下：
|-------------------------------|
| 1. 将一块 ChArUco 标定板平放在地面上 |
| 2. 相机估算该标定板的位姿 |
| 3. 从该位姿计算标定板的法向量 |
| 4. IMU 测量重力矢量 |
| 5. 将两个矢量均转换到 Housing.IMU 坐标系中 |
| 6. 测量二者之间的夹角 |
由于标定板平放在地面上，其法向量应当指向与重力相同的方向。
如果标定足够精确，这两个独立测量的向量应当高度一致。
这提供了一种对整套标定链路的端到端验证，而非对相机和 IMU 各自单独测试。
每台设备的测试条件如下：
|------------------------|
| · 一块 ChArUco 标定板放置在地面上 |
| · 相机以约 45° 角拍摄标定板 |
| · IMU 采集重力测量值 |
| · 每种配置采集 100 个样本 |
▶ 实验结果
在一台 OAK 4 D PRO 设备上的测试结果：
|-----------------|------------|
| 未标定相机 + 未标定 IMU | 平均误差：1.16° |
| 完整标定相机 + 标定 IMU | 平均误差：0.38° |
在五台 RVC4 设备上，经过全新的参考相机标定后，平均偏差同样为 0.38°。
|-------------------------------------------------------------------------------------------|
| 误差从 1.16° 降至 0.38°，降幅约为 67%。这一改进不仅体现在数值的缩小 ------ 更关键的是，它证明了相机与 IMU 现在对同一物理世界的描述具有更高的一致性。 |
这正是机器人、地图构建、视觉惯性里程计和多传感器融合等应用所依赖的核心能力。
目前，剩余误差的很大一部分来自测量装置本身，而非标定精度，这有力地验证了整套多传感器标定管线的可靠性。
▶ 总结
通过出厂标定将相机、IMU 和外壳连接起来，OAK 双目相机不再是简单封装在一起的独立传感器，而是 统一的物理感知系统。
现在，应用程序可以自信地将相机观测、IMU 测量、点云数据和机器人位姿统一到一个与物理设备直接绑定的共享坐标系中。
对于机器人、地图构建、SLAM 以及视觉惯性应用来说，这打通了传感器测量到真实世界的"最后一公里"。
▶ 参考资源
|------------------------------------------------------------------------------------------------------------------|
| 📄 OAK4 坐标系统文档点击获取 |
| 📄 OAK4 IMU 文档点击获取 |