带电作业机器人及多传感器识别定位方法与流程

本发明涉及自动化技术领域，尤其是涉及一种带电作业机器人及多传感器识别定位方法。

背景技术：

目前，激光雷达传感器与视觉传感器、imu（inertialmeasurementunit，惯性测量单元）、转台、深度相机等传感器相互融合实现自动建图、定位的方式被广泛应用到自动驾驶、智能机器人、智能物流等多个行业中。相关技术中，上述方式中的激光雷达位置发生移动后会产生畸变，导致融合后的定位精度仍然不高，从而导致作业效率低。

技术实现要素：

鉴于此，本发明的目的在于提供一种带电作业机器人及多传感器识别定位方法，以提高定位精度，从而提高带电作业机器人的作业效率。

第一方面，本发明实施例提供了一种带电作业机器人，该带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接；激光雷达及全局双目相机的位置相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；多轴转台用于带动激光雷达及全局双目相机运动至预设位置；激光雷达用于采集预设位置对应的全局范围的点云数据；全局双目相机用于采集全局范围的第一图像数据；控制器用于根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂用于带动局部双目相机运动至运动数据对应的局部位置；局部双目相机用于采集局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；控制器用于基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述控制器还用于基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述控制器还用于基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述控制器还用于根据第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，当机械臂运动至预期的作业位置，机械臂用于安装零部件或者卸载零部件。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述机械臂包括第一机械臂及第二机械臂；局部双目相机包括第一局部双目相机及第二局部双目相机；第一局部双目相机设置于第一机械臂的末端；第二局部双目相机设置于第二机械臂的末端。

第二方面，本发明实施例还提供一种多传感器识别定位方法，该方法应用于上述带电作业机器人；该带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接；激光雷达及全局双目相机的位置相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；该方法包括：多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；所述第二图像数据包括待作业物体的图像；控制器基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据的步骤，包括：基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系的步骤，包括：基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述方法还包括：控制器根据第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。

本发明实施例带来了以下有益效果：

本发明实施例提供了一种带电作业机器人及多传感器识别定位方法，多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；控制器基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。该方式通过对机械臂进行全局及局部的定位，提高了机械臂的定位精度，从而提高带电作业机器人的作业效率。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种带电作业机器人的结构示意图；

图2为本发明实施例提供的一种带电工作机器人系统的工作示意图；

图3为本发明实施例提供的神经网络的结构示意图；

图4为本发明实施例提供的另一种带电作业机器人的结构图；

图5为本发明实施例提供的一种多传感器识别定位方法的流程图。

图标：1-激光雷达；2-全局双目相机；3-多轴转台；4-机械臂；5-局部双目相机；6-工作台；7-控制器；4a-机械臂一；5a-局部定位双目相机一；5b-局部定位双目相机二；4b-机械臂二。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，双目相机、激光雷达、深度相机、imu等传感器由于其自身的属性均存在着不可规避的缺点，单一的传感器不能完成精确定位（毫米级）的需求；例如：双目相机易受到光照强度和纹理特征的影响，激光雷达获取的点云数据较稀疏且误差在几厘米级，imu惯性测量单元存在零点漂移，随着时间推移累计误差增加显著等。因此，在工业生产过程中，通常采用多传感器融合的定位方式；激光雷达传感器与视觉传感器、imu、转台、深度相机等传感器相互融合实现自动建图、定位的方式已经广泛应用到自动驾驶、智能机器人、智能物流等多个行业中。

然而，目前，激光雷达与视觉相融合的方法，未考虑激光雷达位置发生移动存在的畸变问题，导致融合后的定位精度仍然不高，且易受到干扰。例如，基于低线束激光雷达和双目相机的融合方法主要采用利用图像数据与激光雷达数据的重叠区域数据，生成误差系数，并对图像数据进行校准。该方法在复杂测量场景下获取的图像数据易受到干扰，生成错误的误差图。

基于此，本发明实施例提供的一种带电作业机器人及多传感器识别定位方法，可以应用于多种作业场景。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种带电作业机器人进行详细介绍。

本发明实施例提供了一种带电作业机器人，其结构示意图如图1所示；该带电作业机器人包括激光雷达1、全局双目相机2、多轴转台3、机械臂4、局部双目相机5、工作台6及控制器7；激光雷达1、全局双目相机2、多轴转台3、机械臂4、局部双目相机5分别与控制器7通信连接；激光雷达1及全局双目相机2的位置相对固定，激光雷达1及全局双目相机2通过多轴转台3设置于工作台6；局部双目相机5固定于机械臂4的末端；机械臂4的底座固定于工作台。

多轴转台用于带动激光雷达及全局双目相机运动至预设位置；该多轴转台可以包括x轴、y轴的转动自由度，还可以包括x轴、y轴及z轴的转动自由度。

当激光雷达及全局双目相机处于预设位置时，激光雷达用于采集预设位置对应的全局范围的点云数据；全局双目相机用于采集全局范围的第一图像数据。

控制器基于用于根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；该运动数据为机械臂的行走路径的初步数据。具体而言，控制器可以基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。该标定数据的获取过程可以在作业之前进行。

机械臂用于该运动数据带动局部双目相机运动至运动数据对应的局部位置；局部双目相机用于采集局部位置对应的局部范围的第二图像数据；其中，第二图像数据包括待作业物体的图像。在具体实现过程中，上述机械臂可以有两个，模拟人的手臂，分别为第一机械臂及第二机械臂；对应地，局部双目相机也有两个，分别为第一局部双目相机及第二局部双目相机；第一局部双目相机设置于第一机械臂的末端；第二局部双目相机设置于第二机械臂的末端。

控制器用于基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。具体而言，控制器可以基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，从而得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。

在作业过程中，上述控制器还用于根据局部双目相机拍摄的第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。

本发明实施例提供了一种带电作业机器人，多轴转台带动激光雷达及全局双目相机运动至预设位置；激光雷达采集预设位置对应的全局范围的点云数据；全局双目相机采集全局范围的第一图像数据；控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；机械臂带动局部双目相机运动至运动数据对应的局部位置；局部双目相机采集局部位置对应的局部范围的第二图像数据；控制器基于第二图像数据及局部位置对应的机械臂的多轴数据，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并进行作业。该方式通过对机械臂进行全局及局部的定位，提高了机械臂的定位精度，从而提高带电作业机器人的作业效率。

基于上述实施例，本发明还提供了一种基于全局定位双目相机传感器（相当于上述“全局双目相机”，也简称为“全局定位双目相机”）、局部定位双目相机传感器（相当于上述“局部双目相机”，也简称为“局部定位双目相机”）、激光雷达、多轴转台等测量数据的相互融合实现精确定位的带电工作机器人系统。该系统包括了多传感器数据融合实现精确定位的方法以及带电工作机器人的双机械臂配合的执行机构，实现双目相机、激光雷达和多轴转台的多级联合高精度测量与定位，以及指导机械臂执行相应的操作，并检测机械臂执行操作是否成功，构成一个集定位-执行-检测的闭环系统。

如图2所示，该系统的工作过程如下：

（1）全局定位双目相机用于获取全局检测范围（也可称为“全局范围”）的图像数据。

（2）激光雷达传感器用于获取全局范围内的三维点云数据。

（3）所述多轴转台根据其转动角度获取相对于归零位置的转换矩阵数据。

（4）利用多轴转台角度数据及全局双目相机数据，基于两者的外参矩阵及多轴转台的角度数据实现全局双目相机多帧数据的坐标系对齐。具体而言该过程中需要用到预先获取的标定数据。在标定过程中，对激光雷达、全局定位双目相机、多轴转台、局部定位双目相机及机械臂进行标定，获取各传感器相对基准坐标系（标定板所在坐标系）的转换矩阵。

（5）对所述激光雷达数据/全局双目相机数据/多轴转台角度数据进行数据融合，融合数据用于全局定位，对机械臂行走路径提供初步指导数据；具体而言，多轴转台带动激光雷达和全局定位双目相机移动，位姿的转换矩阵与多轴转台角度之间的关系如下述公式所述：

其中，为位姿的转换矩阵，，，分别为多轴转台在x轴、y轴、z轴的角度。

激光雷达获取检测区域内的点云数据，全局定位双目相机获取多片点云数据，其中为全局定位双目相机坐标系下的点云坐标，为基准坐标系下点云坐标。

激光雷达获取的点云数据与全局定位双目相机获取的点云数据进行点云融合，为了在保证细节的情况下减小冗余或者重叠点云的数量，采用八叉树的方式划分立体空间为多层空间体素，每个最小体素空间内仅仅输出1个点，从而保证了点云数据的完整和精简性，输出点的坐标则根据激光雷达数据与全局定位双目相机的数据分别采用不同的权重值获取，并进行点云的平滑滤波及杂散点去除。

（6）所述局部定位双目相机用于获取当前机械臂末端执行范围的图像数据；具体而言，机械臂根据全局建模数据初步找到目标位置，局部定位双目相机采用深度学习（如神经网络）的方式获取被测物体的特征点集，双目相机基于极线约束进行特征点的匹配，并重建三维点坐标，从而更加准确的定位机械臂末端与被测目标的位姿关系，指导机械臂精确执行下一个操作。其中，神经网络的结构示意图如图3所示，包括输入层、隐藏层及输出层，上述双目相机采集的数据可以作为输入数据输入到训练好的神经网络中，由神经网络输出被测物体的特征点集。

（7）所述局部定位双目相机数据与机械臂运动时的多轴数据相配合，将局部双目相机测量数据对齐到基准坐标系上，便于数据融合和定位操作。

（8）所述机械臂根据多传感器的测量数据进行相应的执行操作，如安装零部件和卸载零部件。

（9）局部定位双目相机检测相应机械臂执行操作是否完成；具体而言，7)机械臂执行完操作后，局部定位双目相机获取当前位姿下图像数据，进一步检测机械臂执行操作是否完成，形成一个检测-执行-检测的闭环操作流程。

当带电作业机器人包括两个机械臂时，其结构图如图4所示；其中，其中4a为机械臂一；5a为局部双目相机一；1为激光雷达（也称为“全局定位激光雷达”）；3为多轴转台；5b为局部双目相机二；4b为机械臂二；2为全局双目相机。机械臂一和机械臂二的定位、执行及检测的原理相同，实现两机械臂相互配合作业。

上述机器人通过多传感器进行数据融合提高了系统定位的准确性和精度；通过多传感器数据融合进行全局定位避免了单一激光雷达定位的不稳定性因素，保障了全局定位的可靠性；通过局部双目相机进行精确测量，为机械臂成功操作提供了保障；通过融合定位-执行操作-检测-执行的闭环操作保障了机械臂操作的鲁棒性；上述非接触式多传感器融合进行测量定位及机械臂执行的闭环系统大大减小了人为干预的程度，提高了自动化程度。

对应于上述实施例，本发明实施例还提供一种多传感器识别定位方法，该带电作业机器人包括激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机、工作台及控制器；激光雷达、全局双目相机、多轴转台、机械臂、局部双目相机分别与控制器通信连接；激光雷达及全局双目相机的位置相对固定，激光雷达及全局双目相机通过多轴转台设置于工作台；局部双目相机固定于机械臂的末端；机械臂的底座固定于工作台；如图5所示，该方法包括以下步骤：

步骤s500，多轴转台带动激光雷达及全局双目相机运动至预设位置；

步骤s502，激光雷达采集预设位置对应的全局范围的点云数据；

步骤s504，全局双目相机采集全局范围的第一图像数据；

步骤s506，控制器根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据；

步骤s508，机械臂带动局部双目相机运动至运动数据对应的局部位置；

步骤s510，局部双目相机采集局部位置对应的局部范围的第二图像数据；

步骤s512，控制器用于基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系；

步骤s514，基于相对位姿关系，更新机械臂的运动数据，以使机械臂运动至预期的作业位置，并对待作业物体进行作业。

进一步地，上述根据点云数据、第一图像数据及多轴转台的角度数据，确定机械臂的运动数据的步骤，包括：基于角度数据、第一图像数据以及预先获取的标定数据，将第一图像数据对齐至预设的基准坐标系中；基于预设的标定数据，对点云数据、对齐后的第一图像数据以及角度数据进行融合，生成机械臂的运动数据。

进一步地，上述基于第二图像数据及局部位置对应的机械臂的多轴数据，确定待作业物体与机械臂的相对位姿关系的步骤，包括：基于第二图像数据及预设的深度学习模型获取待作业物体的特征点；基于极线约束进行特征点的匹配，得到待作业物体的目标位置；根据目标位置及多轴数据，确定待作业物体与机械臂的相对位姿关系。

进一步地，上述方法还包括：控制器根据第二图像数据，判断机械臂是否完成作业；如果完成，则停止作业。

本发明实施例提供的多传感器识别定位方法，与上述实施例提供的带电作业机器人具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例所提供的带电作业机器人及多传感器识别定位方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除