手眼标定3D空间位姿变换

本Demo为相机和机械手之间的标定,相机知道的是像素坐标,机械手是空间坐标系,所以手眼标定就是得到像素坐标系和空间机械手坐标系的坐标转化关系。手眼标定作用:建立相机坐标系和机械手坐标系之间的关系,即给机械手装上眼睛,让它去哪就去哪。相机和机械手之间的标定是机器人视觉系统中的关键步骤,目的是确定相机坐标系与机械手坐标系之间的转换关系,以便机械手能够准确执行基于视觉信息的任务。

以下是标定的主要步骤和方法:

  1. 准备工作

设备选择:选择适合的相机(如工业相机)和机械手(如六轴机械臂)。

标定工具:准备标定板(如棋盘格或圆点标定板)。

  1. 相机内参标定

目的:确定相机的内部参数,如焦距、主点坐标和畸变系数。

步骤:拍摄多张不同角度的标定板图像。使用软件工具提取角点并计算内参。

  1. 手眼标定

目的:确定相机坐标系与机械手坐标系的转换关系。

方法:

Eye_in_Hand:相机安装在机械手上,随机械手移动。

Eye_to_Hand:相机固定,机械手在相机视野内移动。

  1. 数据采集

Eye_in_Hand

1,机械手移动到不同位置,拍摄标定板图像。

2,记录机械手末端执行器的位姿。

Eye_to_Hand

1,机械手移动到不同位置,拍摄标定板图像。

2,记录机械手基座的位姿。

  1. 计算外参

目的:通过采集的数据计算相机与机械手之间的外参矩阵。

优化:

使用PnP算法计算标定板相对于相机坐标系的位姿。

结合机械手的位姿数据,计算相机与机械手之间的转换矩阵。

  1. 验证与优化

验证:通过标定结果进行实际任务测试,检查精度。

优化:若误差较大,重新采集数据或调整标定过程。

  1. 应用

应用场景:标定结果可用于目标抓取、装配、检测等任务。

本文主要针对C#UI布局和功能及矩阵测试给大家提供自己的封装思路。

Demo效果

UI布局

变换坐标验证矩阵数据效果(由于没有校正内参,数据会存在误差波动,经过验证误差波动最大为0.1mm)

核心算子

vector_to_hom_mat3d( : : TransformationType, Px, Py, Pz, Qx, Qy, Qz : HomMat3D)

TransformationType;'affine', 'projective', 'rigid', 'similarity'(仿射,投影,刚性,相似变换)

一般创建矩阵为已知图像坐标转换为空间坐标,

故而一般Px, Py, Pz:为图像XYZ坐标集

Qx, Qy, Qz:为空间XYZ坐标集

HomMat3D:输出的变换矩阵

总结:此Demo主要为演示空间坐标系的变换矩阵,通过2D图像给大家演示效果,故而采用Z轴全部赋值为0,且在实际项目中最好是12+图像,且多个Z坐标进行计算变换矩阵,以增强矩阵的准确性,如果需要在在单目2D相机中拿到物体的3D位姿,还需进行相机矫正,通过find_planar_calib_deformable_model平面形变匹配算子,可以计算出平面物体在透视情况下的空间位姿,这种方法只针对一个平面做的透视矫正,没法得到整个物体的3D信息。

三维图像可以通过 find_shape_model_3d计算物体空间姿态或find_surface_model进行点云匹配

相关推荐
电子元件小说家3 分钟前
2026年秋季电感市场观察:从DR0608系列插件电感看辅助电源选型与替代策略智能硬件
人工智能
染指11106 分钟前
131.Agent-Agent设计模式-MAS多智能体系统(Multi-Agent-System)
人工智能·设计模式·langchain·agent·agents
阳明山水7 分钟前
CEDAR双重解耦实现决策与干预分离
人工智能·深度学习·算法·机器学习·架构
haliu8 分钟前
【FHE 同态加密】我们如何实现同态加密推理(十五):实测账本——一跳 1.8 小时,钱花在哪(同态加密推理性能剖析)
人工智能·嵌入式·c·fhe·推理引擎·c11·边缘推理·同态加密推理
renhongxia18 分钟前
AI语音大模型:重塑人机交互的自然语言听觉体系
人工智能·人机交互
东离与糖宝19 分钟前
内网AI Agent落地实战:无需改造内网系统的通用解决方案
人工智能
霍格沃兹测试学院-小舟畅学22 分钟前
AI+Swagger:一键生成500条pytest接口用例
人工智能·pytest
HwJack2024 分钟前
【共创稿事节】 HarmonyOS 7从 2D 到 3D:空间计算带来的到底是什么范式变革
3d·harmonyos·空间计算
一直在努力的小宁25 分钟前
【阅读笔记11】机器人操作的数据金字塔《Data Pyramid for Embodied Manipulation》
人工智能
光锥智能26 分钟前
OpenAI、Meta、Manus同时下注,智能体 2.0 来了
人工智能