一种基于组合测量的机器人手眼标定方法与流程

本发明属于机器人手眼标定技术领域，具体涉及一种基于组合测量的机器人手眼标定方法。

背景技术：

随着工业机器人定位精度、负载能力以及结构刚度的不断提高，其灵活性、高效性和高柔性等特点促使工业机器人越来越广泛的应用到自动装配等领域。视觉测量系统与工业机器人相结合，组成了具有环境感知能力的工业机器人系统，提高了工业机器人自动化、智能化作业能力，对实现高质量与高效率加工生产具有重要意义。将视觉测量系统的数据准确传递到工业机器人系统中，需要精确的计算出工业机器人法兰盘(末端执行器)坐标系与视觉传感器坐标系之间的相对位置关系，即手眼标定。

传统的手眼标定方法是通过移动工业机器人机械臂，在不同位姿下拍摄标定板并记录机械臂旋转平移参数，计算相机坐标系与标定板坐标系的矩阵变换关系，建立关于手眼关系矩阵x的方程ax＝xb,通过对多组方程联立求解得到手眼关系矩阵x。

由于传统手眼标定过程中需要移动机械臂改变位姿，然而机械臂移动过程中存在运动学误差，导致得到的法兰盘坐标系与机器人基坐标系的变换矩阵存在误差，影响最终的手眼标定精度。同时，求解过程至少需要两个方程，求解过程相对复杂。因此突破现有手眼标定方法存在的问题，研究标定精度高、操作过程简便的手眼标定方法具有重要的意义。

技术实现要素：

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于组合测量的机器人手眼标定方法，利用标志点、棋盘格标定板和c-track光学动态跟踪系统建立中间测量系统，避免了由于机械臂多次变换位姿而引入的运动学误差，标定精度高、标定过程简洁。

为实现上述技术目的，本发明采取的技术方案为：

一种基于组合测量的机器人手眼标定方法，包括：

步骤1：利用标志点、棋盘格标定板和c-track光学动态跟踪系统搭建手眼标定试验平台，作为中间测量系统，记机器人基坐标系、机器人法兰盘坐标系、相机坐标系、标志点坐标系、棋盘格标定板坐标系和c-track光学动态跟踪系统坐标系，分别为{bf}、{ff}、{cf}、{mf}、{ccf}和{cdf}；

步骤2：分别计算{bf}和{ff}，{cf}和{ccf}，{cdf}和{mf}，{bf}和{cdf}，{mf}和{ccf}的矩阵变换关系，得到

步骤3：根据闭环坐标系矩阵变换关系，求解相机坐标系{cf}和机器人法兰盘坐标系{ff}的矩阵变换关系，即手眼关系矩阵

为优化上述技术方案，采取的具体措施还包括：

上述的步骤1所述利用标志点、棋盘格标定板和c-track光学动态跟踪系统搭建手眼标定试验平台，作为中间测量系统，包括：

在工业机器人机械臂末端粘贴标志点，同时在棋盘格标定板周围随机粘贴三个标志点并保证粘贴有标志点的棋盘格标定板在相机和c-track光学动态跟踪系统视场范围内，机械臂移动至初始位置。

上述的步骤2中，由工业机器人控制面板读取机器人法兰盘平移和旋转参数，通过计算得到机器人基坐标系{bf}和机器人法兰盘坐标系{ff}的矩阵变换关系

上述的步骤2中，相机拍摄粘贴有标志点的棋盘格标定板，采用张氏标定方法进行标定，利用opencv软件调用相机标定函数，求解棋盘格标定板坐标系相对于相机坐标系的旋转向量和平移向量，利用罗德里格斯变换，将旋转向量和平移向量转化成矩阵形式，计算相机坐标系{cf}和棋盘格标定板坐标系{ccf}的矩阵变换关系

上述的步骤2中，在棋盘格标定板上粘贴三个标志点，分别记作标志点m1’、m2’和m3’，利用c-track光学动态跟踪系统测量得到m1’、m2’和m3三个标志点在坐标系{cdf}下的坐标，然后以标志点m1’为原点o，标志点m1’与m2’连线方向为x轴的正方向，标志点m3’在xy平面上，建立标志点坐标系{mf}；

在c-track光学动态跟踪系统上建立坐标系{cdf}，通过计算得到c-track光学动态跟踪系统坐标系{cdf}和标志点坐标系{mf}的矩阵变换关系

上述的步骤2中，分别移动机械臂的第一轴和第二轴并记录标志点在c-track光学动态跟踪系统坐标系下的坐标值，分别拟合圆c1、圆心o1和圆c2、圆心o2，通过投影和平移的方法，建立机器人基坐标系，计算机器人基坐标系{bf}和c-track光学动态跟踪系统坐标系{cdf}的矩阵变换关系

上述的步骤2中，机器人基坐标系{bf}的建立方法具体为：

转动工业机器人第一轴，记录n组标志点在{cdf}下的坐标值，测量结束后将工业机器人移动至初始位置；

根据最小二乘法原理，对n组坐标值进行圆方程拟合，得到圆c1和圆心o1；

再次转动工业机器人第二轴，记录n组标志点在{cdf}下的坐标值，测量结束后将工业机器人移动至初始位置；

根据最小二乘法原理，对n组坐标值进行圆方程拟合，得到圆c2和圆心o2。

过圆心o1并垂直圆c2的法向构建平面p1，把圆心o2投影到平面p1，得到点o3，过点o3并垂直圆c1的法向构建平面p2，将平面p2沿法线方向移动d1距离至机器人基坐标系平面，得到平面p3；

将点o1投影到平面p3，得o4，o3投影到平面p3，得o5；

以o4为原点，o4与o5连线方向为x轴的正方向，平面p3的法向为z轴方向，y轴服从右手定则，建立机器人基坐标系{bf}。

上述的步骤2中，相机拍摄粘贴有标志点的棋盘格标定板，得到初始图像；

对初始图像进行畸变校正和高斯滤波，得到处理后的图像；

对处理后的图像进行标志点roi提取和canny算子边缘检测，得到具有椭圆边界的标志点图像；

对椭圆边界进行椭圆拟合，计算椭圆的中心，即标志点像素坐标系坐标；

利用交比不变性原理得到标志点在棋盘格标定板坐标系下的坐标，计算标志点坐标系{mf}和棋盘格标定板坐标系{ccf}的矩阵变换关系

上述的步骤2中，计算方法具体为：

利用相机拍摄粘贴有标志点的棋盘格标定板，标志点分别对应记作m1、m2和m3；

根据张氏标定法标定相机内参，得到相机畸变系数，利用畸变系数对原始图像进行畸变矫正；

然后对预处理后的图像进行标志点roi区域裁剪，以减小计算量，提高标志点中心提取精度，对裁减后的roi图像进行canny算子边缘检测，得到标志点边缘轮廓，对边缘检测后的图像进行二值化处理并计算图像中所有灰度值非零元素，计算图像所有点到椭圆边界点的距离，定义距离最小的点为椭圆的中心，求得椭圆中心像素坐标；

根据roi区域裁减的边界数值，计算得标志点中心在像素坐标系下的坐标；

最后计算标志点在{ccf}下的坐标，已知三个标志点中心在像素坐标系下的坐标，过标志点m1和m2构建直线方程得：

y＝a1x+b1(2)

利用opencv软件调用亚像素角点检测算子，计算得棋盘格标定板上所有角点在像素坐标系下的坐标；

提取第一列角点在像素坐标系下的坐标并根据最小二乘法原理构建直线方程得：

y＝a2x+b2(3)

求解直线方程(1)与(2)的交点，得j1(u1,v1)，已知交点j1在像素坐标系下的坐标，同时可以得到交点j1所在列相邻的三个角点k1(x1,y1)、k2(x2,y2)、k3(x3,y3)和对应角点在坐标系{ccf}下的角点坐标k1’(x1,y1)、k2’(x2,y2)、k3’(x3,y3)；

根据交比不变性原理，得到点在像素坐标系和标定板坐标系下的坐标关系，设交点j1对应在{ccf}下的点为j1’(u1,v1)，根据交比不变性原理，得到关于交点j1坐标的等式得：

计算得交点j1的横坐标u1。将点k1’(x1,y1)、k2’(x2,y2)、k3’(x3,y3)根据最小二乘法原理构建直线方程得：

y＝a3x+b3(5)

将x＝u1带入直线方程(4)，求解y，即v1；

同理分别求出直线方程(1)与第二列、第三列角点拟合得到的直线方程交点j2和j3以及对应坐标系{ccf}下的交点j2’和j3’的坐标；

因为标志点m1’与交点j1’、j2’和j3’在同一直线上，再次根据交比不变性原理，求出标志点m1’在坐标系{ccf}下的坐标；

同理，求出标志点m2’和m3’在坐标系{ccf}下的坐标；

已知标志点在坐标系{ccf}下的坐标，以标志点m1’为原点o，标志点m1’与m2’连线方向为x轴的正方向，标志点m3’在xy平面上，建立标志点坐标系{mf}；

通过计算得到标志点坐标系{mf}和棋盘格标定板坐标系{ccf}的矩阵变换关系

本发明具有以下有益效果：

1.本发明提出的基于组合测量的手眼标定方法，解决了传统手眼标定方法存在标定精度低、标定过程复杂的问题；

2.本发明手眼标定过程中不需要移动机械臂，避免了由于移动机械臂而引入机械臂运动学误差，提高了手眼标定的精度；

3.本发明建立的是闭环坐标系矩阵转换关系，只需测量一次即可求解出手眼关系矩阵，简化了手眼标定流程，提高了手眼标定效率。

附图说明

图1是本发明流程图；

图2是基于组合测量的手眼标定原理示意图；

图3是粘贴有标志点的棋盘格标定板；

图4是机器人基坐标系建立示意图；

图5是标志点与棋盘格标定板坐标系关系示意图；

图6是手眼标定试验平台；

图7是标志点中心提取图。

具体实施方式

以下结合附图对本发明的实施例作进一步详细描述。

参见图1和2，一种基于组合测量的机器人手眼标定方法,包括：

步骤1：利用标志点、棋盘格标定板和c-track光学动态跟踪系统搭建手眼标定试验平台，作为中间测量系统，记机器人基坐标系、机器人法兰盘坐标系、相机坐标系、标志点坐标系、棋盘格标定板坐标系和c-track光学动态跟踪系统坐标系，分别为{bf}、{ff}、{cf}、{mf}、{ccf}和{cdf}；

步骤2：分别计算{bf}和{ff}，{cf}和{ccf}，{cdf}和{mf}，{bf}和{cdf}，{mf}和{ccf}的矩阵变换关系，得到

步骤3：根据闭环坐标系矩阵变换关系，求解相机坐标系{cf}和机器人法兰盘坐标系{ff}的矩阵变换关系，即手眼关系矩阵

实施例中，步骤1所述利用标志点、棋盘格标定板和c-track光学动态跟踪系统搭建手眼标定试验平台，作为中间测量系统，包括：

在工业机器人机械臂末端粘贴标志点，同时在棋盘格标定板周围随机粘贴三个标志点并保证粘贴有标志点的棋盘格标定板在相机和c-track光学动态跟踪系统视场范围内，机械臂移动至初始位置。

实施例中，计算

由工业机器人控制面板读取机器人法兰盘平移和旋转参数，通过计算得到机器人基坐标系{bf}和机器人法兰盘坐标系{ff}的矩阵变换关系

计算

相机拍摄粘贴有标志点的棋盘格标定板，采用张氏标定方法进行标定，利用opencv软件调用相机标定函数，求解棋盘格标定板坐标系相对于相机坐标系的旋转向量和平移向量，利用罗德里格斯变换，将旋转向量和平移向量转化成矩阵形式，计算相机坐标系{cf}和棋盘格标定板坐标系{ccf}的矩阵变换关系

计算

在棋盘格标定板上粘贴三个标志点，如图3所示，分别记作标志点m1’、m2’和m3’，利用c-track光学动态跟踪系统测量得到m1’、m2’和m3三个标志点在坐标系{cdf}下的坐标，然后以标志点m1’为原点o，标志点m1’与m2’连线方向为x轴的正方向，标志点m3’在xy平面上，建立标志点坐标系{mf}；

在c-track光学动态跟踪系统上建立坐标系{cdf}，通过计算得到c-track光学动态跟踪系统坐标系{cdf}和标志点坐标系{mf}的矩阵变换关系

计算

分别移动机械臂的第一轴和第二轴并记录标志点在c-track光学动态跟踪系统坐标系下的坐标值，分别拟合圆c1、圆心o1和圆c2、圆心o2，通过投影和平移的方法，建立机器人基坐标系，计算机器人基坐标系{bf}和c-track光学动态跟踪系统坐标系{cdf}的矩阵变换关系具体的：

需要先建立机器人基坐标系{bf}，如图4所示。在工业机器人机械臂末端粘贴标志点并移动机械臂至初始位置，然后转动工业机器人第一轴，记录20组标志点在{cdf}下的坐标值，测量结束后将工业机器人移动至初始位置；

根据最小二乘法原理，对20组坐标值进行圆方程拟合，得到圆c1和圆心o1；

再次转动工业机器人第二轴，记录20组标志点在{cdf}下的坐标值，测量结束后将工业机器人移动至初始位置；

根据最小二乘法原理，对20组坐标值进行圆方程拟合，得到圆c2和圆心o2。

过圆心o1并垂直圆c2的法向构建平面p1，把圆心o2投影到平面p1，得到点o3，过点o3并垂直圆c1的法向构建平面p2，将平面p2沿法线方向移动d1距离至机器人基坐标系平面，得到平面p3；

将点o1投影到平面p3，得o4，o3投影到平面p3，得o5；

以o4为原点，o4与o5连线方向为x轴的正方向，平面p3的法向为z轴方向，y轴服从右手定则，建立机器人基坐标系{bf}。

计算

相机拍摄粘贴有标志点的棋盘格标定板，得到初始图像；

对初始图像进行畸变校正和高斯滤波，得到处理后的图像；

对处理后的图像进行标志点roi提取和canny算子边缘检测，得到具有椭圆边界的标志点图像；

对椭圆边界进行椭圆拟合，计算椭圆的中心，即标志点像素坐标系坐标；

利用交比不变性原理得到标志点在棋盘格标定板坐标系下的坐标，计算标志点坐标系{mf}和棋盘格标定板坐标系{ccf}的矩阵变换关系具体的：

首先利用相机拍摄粘贴有标志点的棋盘格标定板，标志点分别对应记作m1、m2和m3。

相机一般采用小孔成像模型，理想的小孔模型是线性模型，但是由于透镜制造精度以及组装工艺的偏差会引入畸变，导致原始图像失真，因此需要对图像进行畸变校正。

根据张氏标定法标定相机内参，得到相机畸变系数，利用畸变系数对原始图像进行畸变矫正。

实际相机拍摄物体时，会存在环境、设备本身等因素产生的噪声，对后续标志点中心提取精度产生影响，因此需要对畸变矫正后的图像进行高斯滤波。

然后对预处理后的图像进行标志点roi区域裁剪，以减小计算量，提高标志点中心提取精度，对裁减后的roi图像进行canny算子边缘检测，得到标志点边缘轮廓，对边缘检测后的图像进行二值化处理并计算图像中所有灰度值非零元素，计算图像所有点到椭圆边界点的距离，定义距离最小的点为椭圆的中心，求得椭圆中心像素坐标。

根据roi区域裁减的边界数值，计算得标志点中心在像素坐标系下的坐标。

最后计算标志点在{ccf}下的坐标，原理如图5所示，已知三个标志点中心在像素坐标系下的坐标，过标志点m1和m2构建直线方程得：

y＝a1x+b1(2)

利用opencv软件调用亚像素角点检测算子，计算得棋盘格标定板上所有角点在像素坐标系下的坐标。

提取第一列角点在像素坐标系下的坐标并根据最小二乘法原理构建直线方程得：

y＝a2x+b2(3)

求解直线方程(1)与(2)的交点，得j1(u1,v1)。已知交点j1在像素坐标系下的坐标，同时可以得到交点j1所在列相邻的三个角点k1(x1,y1)、k2(x2,y2)、k3(x3,y3)和对应角点在坐标系{ccf}下的角点坐标k1’(x1,y1)、k2’(x2,y2)、k3’(x3,y3)。

根据交比不变性原理，可以得到点在像素坐标系和标定板坐标系下的坐标关系，设交点j1对应在{ccf}下的点为j1’(u1,v1)，根据交比不变性原理，可以得到关于交点j1坐标的等式得：

计算得交点j1的横坐标u1。将点k1’(x1,y1)、k2’(x2,y2)、k3’(x3,y3)根据最小二乘法原理构建直线方程得：

y＝a3x+b3(5)

将x＝u1带入直线方程(4)，求解y，即v1。

同理可以分别求出直线方程(1)与第二列、第三列角点拟合得到的直线方程交点j2和j3以及对应坐标系{ccf}下的交点j2’和j3’的坐标。

因为标志点m1’与交点j1’、j2’和j3’在同一直线上，再次根据交比不变性原理，可求出标志点m1’在坐标系{ccf}下的坐标。同理，可以求出标志点m2’和m3’在坐标系{ccf}下的坐标。

已知标志点在坐标系{ccf}下的坐标，以标志点m1’为原点o，标志点m1’与m2’连线方向为x轴的正方向，标志点m3’在xy平面上，建立标志点坐标系{mf}。

通过计算得到标志点坐标系{mf}和棋盘格标定板坐标系{ccf}的矩阵变换关系

本发明的有益效果可通过以下实验进一步说明：

如图6所示，搭建手眼标定试验平台：

工业机器人选用staubli公司的tx90机器人，重复定位精度为±0.03mm，各轴角分辨率小于0.000183°；相机选用baumer公司的exg50型号相机，相机分辨率为2592×1944pixels，像元尺寸为2.2μm×2.2μm，镜头焦距为8mm；选用creaform公司的c-track光学动态跟踪系统,测量精度最高能达到0.025mm。

粘贴有标志点的棋盘格标定板固定在相机视场和c-track光学动态跟踪系统视场范围内，相机与机器人法兰盘由连接板固连。

实验采集的部分图像，标志点中心提取效果如图7所示，实验结果如下：

以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，应视为本发明的保护范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除