文章目录
-
-
- 一、问题概述
-
- 1、何为手眼标定？
- 2、手眼标定的2种形式
-
- [1）眼在手上（eye in hand）：即相机固定在机械臂末端](#1）眼在手上（eye in hand）：即相机固定在机械臂末端)
- [2）眼在手外（eye to hand）：即相机固定在机械臂以外的地方](#2）眼在手外（eye to hand）：即相机固定在机械臂以外的地方)
- 3、手眼标定公式推导
- 二、Halcon例程解读
- 三、如何实操
- 四、关键点梳理
- 五、后续的思考
-
一、问题概述
1、何为手眼标定？
要让机器人的手抓住杯子，就必须知道杯子跟手的相对位置关系 ，而杯子的位置则是通过机器人的眼睛看见的，所以，我们只需要知道机器人的手和眼睛的转换关系，就可以随时抓取机器人眼睛所看到的物体了。
2、手眼标定的2种形式
1）眼在手上（eye in hand）：即相机固定在机械臂末端
手眼标定的目的是确定两个未知量：
-
标定板相对于机器人基座的位姿（CalObjInBasePose）
-
机械手末端相对于相机的位姿（ToolInCamPose）
2）眼在手外（eye to hand）：即相机固定在机械臂以外的地方
手眼标定的目的是确定两个未知量：
-
机器人基座相对于相机的位姿（BaseInSensorPose）
-
标定板相对于机械手末端的位姿（CalObjInToolPose）
3、手眼标定公式推导
对原理有兴趣的小伙伴请参看：手眼标定公式推导
二、Halcon例程解读
主要是参考 hand_eye_movingcam_calibration.hdev
1、初始化
这一部分的工作中，需要完成对显示参数的初始化 （主要包括2D图像的显示以及3D模型的显示），以及用于标定的模型的初始化（利用已获得的相机内参与标定板参数，同时还可以指定进行标定的方法）
1）初始化显示参数
2）初始化三维坐标系
一个是以机械手夹具中心点为原点的三维坐标系，另一个是机器人基座的三维坐标系。
3）初始化标定模型
初始化一个用于标定的模型 CalibDataID。需要通过标定文件 ，相机初始内参 以及用于进行标定的方法进行初始化。
这里的标定方法是用的非线性优化。
2、构建坐标系
1）构建标定板坐标系
根据之前创建的标定模型CalibDataID在图像中寻找相应的标定板图像，获取标定板的轮廓与其中的角点，并在其中心根据相机内参以及标定板位姿初始化一个标定板坐标系。
- 在输入的图像中根据之前初始化的标定模型，寻找标定板
- 提取标定板的轮廓
- 通过提取标定板中的点，来获取标定板的位姿
2）构建机器人基座坐标系与夹具坐标系
根据保存的机器人工具坐标系到机器人基座坐标系下的转换矩阵，将原有的机器人夹具坐标系转换至基座坐标系下，显示这两个坐标系并将转换关系保存在CalibDataID所指向的模型对象中。
- 读取机械手在机器人基座坐标系下的位姿
- 根据机械手在机器人基座坐标系下的转换矩阵，将机械手坐标系转换至基座坐标系
- 保存机械手坐标系到基座坐标系的转换关系至标定模型
CalibDataID中
3、执行手眼标定
1）检查用于手眼标定的位姿是否一致
2）进行手眼标定并保存相关参数
3）显示标定误差
4、显示标定后的三维模型
1）计算姿态指标和标定对象指标
2）可视化
- 获取标定模型
CalibDataID中的数据坐标 - 根据坐标数据初始化标定块
- 根据标定块在基座坐标系下的转换矩阵对标定块进行转换
5、得到标定结果
3D姿态中的7个参数代表的意义：[0,0,0,0,0,0,0]前六个代表平移和旋转量 ，最后一个代表OrderOfTransform, OrderOfRotform, ViewOfTransform的组合类型。
- OrderOfTransform：旋转和平移的顺序
- OrderOfRotform：旋转值的含义
- ViewOfTransform：变换视角
三、如何实操
1、准备标定板
窗口--打开算子窗口--gen_caltab
-
设置XNum，YNum---圆点个数，X和Y方向圆点个数
-
设置圆点直径，MarkDist × DiameterRatio
-
设置间距MarkDist（单位为米）
caltab.descry是标定板描述文件，caltab.ps为标定板生成文件，没有ps用Adobe PDF打开就能看到如下图1-2所示的标定板，可以直接打印。
2、相机标定
助手--打开新的 Calibration
-
在描述文件地方插入刚刚生成的
caltab.descry -
点击标定
-
结果中摄像机参数需要记录下来，之后会用到，摄像机位姿需要点击"保存"保存成 .dat 格式的文件
3、手眼标定
标定板不动，移动机械臂，拍摄15+张图片 ，覆盖多个位姿，并记录每张图片拍摄时机械臂的位姿（包括 X , Y , Z , R X , R Y , R Z X,Y,Z,R_X,R_Y,R_Z X,Y,Z,RX,RY,RZ 六个）
整体流程梳理如下：
-
初始化相应的参数：二维图像输出窗口，三维坐标系的坐标轴与窗口，用于进行手眼标定的对象
CalibDataID； -
根据手眼标定的对象，在输入的图像中寻找相应的标定板，并建立坐标系；
-
创建base与tool的三维坐标系，并根据输入的转换关系信息进行显示；
-
进行手眼标定，输出并保存相关参数；
-
根据标定后的转换关系，创建base、tool、cam与obj的三维坐标系，并进行显示；
-
输出相应的转换关系
四、关键点梳理
1、tool-base
机械臂末端在机器人基座坐标系下的位姿，其实就是机器人学里面最基础的运动学正解。
用 DH 矩阵 等方法来计算机器人运动学正解：只要知道机器人在当前状态下每个关节的角度 ，就可以得到tool---base之间的变换。
2、cam-obj
相机在标定板坐标系下的位姿，即相机的外参。
根据相机模型 ，先确定内参矩阵，然后根据不同时刻拍摄的标定板图片来求取外参矩阵：也即相机在世界坐标系下的变换关系。
3、求解AX=XB
文献3采用的是李群的理论，将AX=XB转化成最小二乘问题；
文献4采用的是对偶四元数的知识，用对偶四元数表达旋转和平移，从而进行统一计算；
四种方法精度接近 ，最后一种 Dual Quaternions 的方法会稍微比其他算法好一点。
五、后续的思考
机器人领域基本上所有用到的模型都只是「近似模型」。也就是说，上面说的每一步，都有改进空间。
1、直接使用的机器人运动学模型是认为机器人加工、装配、控制无误差的情况。
实际上这种假设是不成立的。也就是说，我们只拿到每个关节角度，计算的末端位姿是存在误差的。可以从机器人运动学参数辨识等方面入手提高最后的标定精度；
2、相机模型其实也不是标准的小孔模型 ，像素坐标与空间坐标之间其实是非线性的对应关系。
...