基于单目视觉的大尺寸长方体构件抓取装置及方法与流程

本发明涉及机械工程技术领域，特别是涉及一种隧道施工的长方体构件空间定位装置与方法。

背景技术：

隧道的盾构法施工一直是一个自动化程度较高的领域，在掘进、泥浆处理等过程均实现了自动化作业，但长方体构件抓取、拼装过程仍依靠人工及远程混合控制的方法进行作业，国内外主要盾构机生产厂商将长方体构件自动拼装技术作为研究重点。

1990年，h.takano等人就实现了盾构拼装机对长方体构件提升、滑动和旋转的粗定位动作的自动化，迈出了长方体构件自动拼装的第一步。随后，研究人员将研究重心放到长方体构件拼装精定位(空间姿态调整)上。h.tohkairin利用超声波传感器测量长方体构件空间姿态，实现了待拼装长方体构件的精定位自动化。但由于施工环境恶劣，传感器精度有限，此方法难以满足长方体构件拼装精度的要求。1995年y.tanaka利用光切法测量长方体构件连接处的长方体构件位置，计算测量位置与预设目标位置差值，通过执行装置调整长方体构件的位置，实现了长方体构件定位。但该方法对拼装机粗定位要求较高、且长方体构件边缘的尺寸精度难以控制，导致该方法的定位精度难以保障。随后，日本在长方体构件自动拼装技术方面又进行了大量的研究，基本实现了长方体构件抓取、粗定位、精定位的自动化。除日本外，美国的robbins公司、德国nfm技术公司以及德国海瑞克公司的盾构拼装机都实现了不同程度的长方体构件自动化拼装。为了增加长方体构件自动拼装系统的稳定性和通用性，国际隧道协会第二工作组于2000年制定了各种隧道长方体构件拼装的设计准则。zyada等人利用斯图尔特平台对盾构机多方向掘进时的长方体构件自动拼装进行了实验研究。

另外，国外已经采用结构光法计算进行自动长方体构件拼装的盾构机，该盾构机的长方体构件自动组装装置利用结构光主动视觉技术探测组装长方体构件的位置和形态，可在光截画面上显示已设长方体构件的定位情况，其组装升降机的夹持回转及组装定位，可决定粗略定位和细微定位，这种系统采用结构光主动视觉技术，因此需要有特定的激光源，需要安装三组激光器和一组摄像机组，给安装造成了不便，且所需空间较大。

传统技术中采用人工操作的长方体构件抓取和拼装对工人具有一定危险性，并且需进行多次试错，拼装效率低。如何实现自动化代替了人工操作，使得长方体构件抓取和置位过程安全可靠、准确无误以及能够提高长方体构件拼装的效率和质量，是本发明亟待解决的技术问题。

技术实现要素：

为了克服现有技术的不足，本发明提出一种基于单目视觉的大尺寸长方体构件抓取装置及方法，结合盾构法隧道施工中抓取头和长方体构件在隧道轴向和周向的移动来实现长方体构件在隧道轴向和周向的位姿识别和正确放置，以供长方体构件之间的拼接操作。

本发明的一种基于单目视觉的大尺寸长方体构件抓取装置，该装置包括图像采集与标识坐标识别系统100、控制及显示系统200和动作执行机构300；

其中，所述图像采集与标识坐标识别系统100包括多组光源3、多组广角镜头4和单目视觉智能相机5，各单目视觉智能相机5包括嵌入式图像识别与位置测量单元6；所述控制及显示系统200包括依序连接的路由器7、工控机8和油缸动作控制单元；动作执行机构(300)包括抓取头10、滑动油缸11、旋转电机12、偏摇油缸13和顶升油缸14；所述图像采集与标识坐标识别系统100与所述控制及显示系统200的路由器8连接；所述路由器8固定于所述抓取头10上，与所述工控机9和所述动作执行机构(300)300通过拖链上的通讯线相连；

所述图像采集与标识坐标识别系统100，用于采集处理待抓取长方体构件2的照片，在待抓取长方体构件1抓取过程中实时检测待抓取长方体构件2上的标志物1的坐标，输出至所述控制及显示系统200；

所述控制及显示系统200，用于根据标志物1的坐标值与标定的坐标值进而得到待抓取长方体构件2在隧道轴向和周向的位置姿态，作为油缸控制信号输出至所述动作执行机构300；

所述动作执行机构300，根据控制信号将抓取头10移动到待抓取长方体构件2位置，并将待抓取长方体构件2放置到正确位置。

本发明的一种基于单目视觉的大尺寸长方体构件抓取和置位方法，具体步骤如下：

首先，进行长方体构件抓取标定，具体处理包括：

使抓取头10以人工方式抓取待抓取长方体构件2，不进行任何移动；放下待抓取长方体构件2，使抓取头10只进行沿隧道径向的移动，直到待抓取长方体构件2上表面处于单目视觉智能相机5能清晰成像的景深范围内的最远处；

利用多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波处理，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块；优化标志物1连通域的边界即寻找连通域的边界线，获得包含标志物1边界线的集合；对所有边界线进行多边形拟合；对拟合得到的多边形的边数、夹角角度和面积进行标志物1筛选，识别出标志物并得到其在图像上的图像坐标；

嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标以及当前顶升油缸14的行程信息，并将两者写入xml文件；

所有人工抓取坐标和历史自动抓取最终的坐标分为成功/失败两类，导入深度神经网络里进行训练；

然后，进行长方体构件抓取，具体处理包括：

由待抓取长方体构件2被传送至其上的标志物1处于单目视觉智能相机5镜头视野范围内开始，抓取头粗定位于单目视觉智能相机5镜头光轴且竖直向下，顶升油缸14行程与标定行程一致；

图像采集与标识坐标识别单元7中的多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，以明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块，优化标志物1连通域的边界；寻找连通域的边界线，获得包含标志物1边界线的边界线集合；对所有边界线进行拟合多边形拟合；对拟合得到的多边形的边数，夹角角度，面积进行筛选，识别出标志物并得到其在图像上的图像坐标；

嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标，将新得到的坐标与标定的坐标进行比较计算，得到该装置的动作执行机构300的滑动/旋转/偏摇油缸的控制信息；

控制及显示系统200的油缸动作控制单元9将控制信息输入至该装置的动作执行机构300，使各油缸/电机进行短距离的动作；

多次重复上述步骤，依次调整好抓取头10的偏摇方向、旋转方向以及滑动方向，使得新得到的坐标处于相对于标定坐标的误差范围内，使得抓取头10在沿隧道轴向和周向以隧道径向为轴的偏航方向与待抓取长方体构件2同步；

抓取头10的偏摇方向、旋转方向以及滑动方向这三个方向误差在阈值范围内时，将多个标志物的图像坐标值导入深度神经网络里作为测试集，若测试结果为成功，顶升油缸下降直至抓取头10的下表面与待抓取长方体构件2的上表面贴合，吸合或嵌入待抓取长方体构件2；至此，完成长方体构件抓取。

与现有技术相比，本发明所具有的优点在于：

(1)实现了长方体构件自动抓取和置位，长方体构件动作过程无需人工操作，有效降低事故发生率，保障操作人员的人身安全；

(2)拼装成功性高，拼装效率高；

(3)在自动抓取置位长方体构件的过程中实时监测长方体构件位置姿态，及时发现长方体构件异常状态，警告工作人员。

附图说明

图1为本发明的基于单目视觉的大尺寸长方体构件抓取装置结构示意图；

图2为本发明的基于单目视觉的大尺寸长方体构件抓取和置位方法流程图。

图3为图像采集与标识坐标识别单元处理流程图；

图4为本发明的基于单目视觉的大尺寸长方体构件抓取装置及方法实施效果示意图。

附图标记：

1、标志物(砂面三角形或长方形)，2、待抓取长方体构件，3、光源，4、广角镜头，5、单目视觉智能相机，6、嵌入式图像识别与位置测量单元，7、路由器，8、工控机，9、油缸动作控制单元，10、抓取头，11、滑动油缸，12、旋转电机，13、偏摇油缸，14、顶升油缸，100、图像采集与标识坐标识别系统，200、控制及显示系统。

具体实施方式

以下结合附图和实施例对本发明具体实施方式进行详细说明，此处描述的具体实施方式仅用于解释说明本发明，并不作为限制本发明的依据。

本发明的基于单目视觉的大尺寸长方体构件抓取装置由以下几部分构成：黑色磨砂面三角形或长方形的标志物1、待抓取长方体构件2、图像采集与标识坐标识别系统100、控制及显示系统200和各动作执行机构(300)。其中，所述图像采集与标识坐标识别系统100包括多组光源3、多组广角镜头4和单目视觉智能相机5(包含相机支架)，各单目视觉智能相机5包括嵌入式图像识别与位置测量单元6。所述控制及显示系统200包括依序连接的路由器7、工控机8和油缸动作控制单元。五维抓取头10、滑动油缸11、旋转电机12、偏摇油缸13和顶升油缸14作为该装置的动作执行机构(300)。图像采集与标识坐标识别系统100与控制及显示系统200的路由器8连接。路由器8固定于抓取头10(本发明中优选五维抓取头)上，其与工控机9和各动作执行机构300通过拖链上的通讯线相连。工控机9需安装于抓取头10的动作范围之外。控制及显示系统200在工作全程具有显示、操作与警示功能，显示当前长方体构件的位置和空闲/抓取/拼装信息、长方体构件移动系统c各油缸和电机的行程信息、当前相机拍摄图像；可操作开始、暂停、停止自动长方体构件抓取拼装，开始各位置的标定并输出标定结果至xml文件；警示各设备通信的中断，图像采集与标识坐标识别系统a处理得出坐标与否，坐标以及长方体构件移动系统c各油缸和电机的行程信息是否超出警戒阈值。

上述各部件的安装位置及连接关系如下：

图像采集与标识坐标识别系统100经过待抓取长方体构件2固接于抓取头10上，黑色磨砂面三角形或长方形标志物1位于待抓取长方体构件2，将标志物1的中心设置于待抓取长方体构件2上表面距离长边5cm处。在图像采集与标识坐标识别系统100中，单目视觉智能相机5以镜头对准待抓取长方体构件2上标志物1的位置固定。

所述图像采集与标识坐标识别系统7采集处理待抓取长方体构件2的照片并向所述控制及显示系统200输出标志物1的坐标，控制及显示系统299处理得到的坐标值得到油缸控制信号输出，长方体构件移动系统c根据控制信号将抓取头移动到待抓取长方体构件2位置并将待抓取长方体构件2放置到正确位置。

图像采集与标识坐标识别系统a在长方体构件抓取过程中实时检测待抓取长方体构件2上的标志物1的坐标，进而得到待抓取长方体构件2在隧道轴向和周向的位置姿态。

控制及显示系统200根据图像采集与标识坐标识别系统100输入的坐标值，长方体构件动作控制系统10将其与标定的坐标值进行计算，得到油缸控制信息。

控制及显示系统b在工作全程具有显示、操作与警示功能，显示当前长方体构件的位置和空闲/抓取/拼装信息、长方体构件移动系统c各油缸和电机的行程信息、当前相机拍摄图像；可操作开始、暂停、停止自动长方体构件抓取拼装，开始各位置的标定并输出标定结果至xml文件；警示各设备通信的中断，图像采集与标识坐标识别系统a处理得出坐标与否，坐标以及长方体构件移动系统c各油缸和电机的行程信息是否超出警戒阈值。

抓取头10为机械嵌入式抓取头或真空吸盘抓取头，其沿隧道轴向的滑动、沿隧道轴向的旋转、以隧道径向为轴的偏摇动作和沿隧道轴向的升降分别依靠滑动油缸12、旋转电机13、偏摇油缸14和顶升油缸15的动作完成。其中，滑动油缸12、顶升油缸15为比例伺服油缸，旋转电机13为步进电机，偏摇油缸14为开关阀门油缸，控制及显示系统200输入的油缸控制信息均为启/停/亮，实现了实时控制。

如图2所示，为实施例本发明的基于单目视觉的大尺寸长方体构件抓取和拼装方法流程图。该方法整体流程所包含的具体步骤如下：

步骤1、长方体构件抓取标定流程：

使抓取头10以人工方式抓取待抓取长方体构件2，不进行任何移动；放下待抓取长方体构件2，使抓取头10只进行沿隧道径向的移动，直到待抓取长方体构件2上表面处于单目视觉智能相机5能清晰成像的景深范围内的最远处；

利用多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波处理，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块；优化标志物1连通域的边界即寻找连通域的边界线，获得包含标志物1边界线的集合；对所有边界线进行多边形拟合；对拟合得到的多边形的边数、夹角角度和面积进行标志物1筛选，即保留符合以下条件的拟合结果：1)边数为3；2)最大角角度在75°-105°内；3)在相机安装高度拍摄一张含有标志物的基准图像，假设基准图像中三角形标志物的面积为s，拟合多边形面积在0.8s～1.2s内，识别出标志物并得到其在图像上的图像坐标；

嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标以及当前顶升油缸14的行程信息，并将两者写入xml文件；

所有人工抓取坐标和历史自动抓取最终的坐标分为成功/失败两类，导入深度神经网络里进行训练；

步骤2、长方体构件抓取流程：

由待抓取长方体构件2被传送至其上的标志物1处于单目视觉智能相机5镜头视野范围内开始，抓取头粗定位于单目视觉智能相机5镜头光轴且竖直向下，顶升油缸14行程与标定行程一致；

如图3所示，为图像采集与标识坐标识别单元的图像处理流程图。图像采集与标识坐标识别单元7中的多个单目视觉智能相机5进行拍照，获得包含待抓取长方体构件2上标志物1的图像，嵌入式图像识别与位置测量单元7对采集到的图像首先进行均值滤波，消除相机噪声和环境颗粒污染的干扰；再进行自适应阈值的二值化处理，以明显区分出标志物1的周围环境的灰度；然后进行开闭运算，除去小噪声块，优化标志物1连通域的边界；寻找连通域的边界线，获得包含标志物1边界线的边界线集合；对所有边界线进行拟合多边形拟合；对拟合得到的多边形的边数，夹角角度，面积进行筛选，识别出标志物并得到其在图像上的图像坐标。

嵌入式图像识别与位置测量单元7将所获得的多组标志物1的图像坐标通过网络接口输入至油缸动作控制单元9，油缸动作控制单元9记录下多组标志物1的图像坐标，将新得到的坐标与标定的坐标进行比较计算，得到该装置的动作执行机构300的滑动/旋转/偏摇油缸的控制信息；

控制及显示系统200的油缸动作控制单元9将控制信息输入至该装置的动作执行机构300，使各油缸/电机进行短距离的动作；

多次重复上述步骤，依次调整好抓取头10的偏摇方向、旋转方向以及滑动方向，直到使得新得到的标志物坐标(x1,y1)、(x2,y2)处于相对于标定坐标(x01,y01)、(x02,y02)(单位均为像素；其中x轴平行于长方体构件2上表面长边)的误差范围内，偏摇方向误差范围为|(y2-y1)-(y20-y10)|≤5，旋转方向误差范围为|x1-x10)|≤5，滑动方向误差范围为|y1-y10|≤3(||表示取绝对值)，使得抓取头10在沿隧道轴向，周向，以隧道径向为轴的偏航方向与待抓取长方体构件2同步。抓取头10的偏摇方向、旋转方向以及滑动方向这三个方向误差在阈值范围内时，将多个标志物的图像坐标值导入深度神经网络里作为测试集，若测试结果为成功，顶升油缸下降直至抓取头10的下表面与待抓取长方体构件2的上表面贴合，吸合或嵌入待抓取长方体构件2。至此，完成长方体构件抓取。

如图4所示，为本发明的基于单目视觉的大尺寸长方体构件抓取和拼装装置及方法实施效果示意图。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除