眼在手外时,在3D相机坐标系和机器人坐标系标定变换时,关键是观察到的是同一个点,这样才能保证3D相机和机器人在3D相机坐标系和机器人世界坐标系测量的为同一个点。
实现的一般思路为:先提取 2D 亚像素坐标,再结合深度图映射为 3D 坐标。
实施步骤:
Step 1 在 2D 图上高精度提取标定板角点(亚像素级)。
Step 2 将 2D 坐标,同过深度图投影到 3D 点云上,找到对应的 3D 点。
注意事项:不要直接使用单个像素对应的 3D 点,因为 3D 点云通常有噪声且稀疏。"2D 亚像素定位 + 3D 邻域平均/拟合" 是行业标准做法。
在 3D 点云中提取角点周围的小邻域并进行处理,是提高手眼标定精度的核心步骤 。直接取单个像素对应的 3D 点往往噪声较大,而提取邻域(例如 3×3 或 5×5 像素范围)内的所有点,通过求质心 或平面拟合,可以显著抑制噪声,将精度提升一个数量级。具体实现方法:
1)输入 :2D 亚像素角点坐标 (Row,Col)(Row,Col) + 完整的 3D 点云 (ObjectModel3D)。
2)定义邻域:以 (Row,Col)(Row,Col) 为中心,在 2D 图像平面上生成一个圆形或矩形掩膜(Mask/Region)。
3)映射筛选:利用 3D 点云与 2D 图像的对应关系,筛选出落在该掩膜内的 3D 点。
4)数据清洗:剔除深度值异常(离群点)的数据。
5)计算代表点:计算剩余点的几何质心 (Xmean,Ymean,Zmean)(Xmean,Ymean,Zmean) 作为该角点的最终 3D 坐标。
采用改方法通过 静态半径 (3-5 像素) + 中值滤波去噪 + 算术平均,可满足 90% 的工业场景下能达到最佳平衡。
实现方法,假设采用五点法,采用C++语言的实现如下:
cpp
// 定义四个方向的偏移量: 中心点,上, 下, 左, 右,假设相对原来的点向外扩3个像素
int x[5];
int y[5];
int x,y;
int dx[5] = {0,0, 0, -3, 3};
int dy[5] = {0,-3, 3, 0, 0};
for (int i = 0; i < 5; ++i)
{
x[i] = x + dx[i];
y[i] = y + dy[i];
}