一种基于视觉信息融合的机械臂抓取目标物体方法与流程

本发明涉及机器人技术领域，具体涉及一种在背景复杂的情况下基于视觉信息融合的机械臂抓取目标物体的方法。

背景技术：

随着人工智能技术的发展，机器人的应用领域不断拓展，而不管是工业领域还是家庭服务领域，机器人与真实世界的互动必不可少，而抓取，则是机器人与真实世界互动的基本技能。模仿人类手臂活动关节的多自由度机械臂与二指夹爪的组合常用于实现在各种环境下的抓取，由于真实世界的复杂多样，抓取任务具有很大的不确定性，提高机器臂在复杂环境的目标检测及抓取规划能力成为了目前机器人领域研究的热点。

目前深度学习方法得到了越来越广泛的应用，是二维图像目标识别目标检测的主要方法，在近年来也出现了利用深度学习方法完成机械臂抓取中的三维目标物体的识别任务，例如nvidia发布的《deepobjectposeestimationforsemanticroboticgraspingofhouseholdobjects》，其原理则是利用深度学习方法先检测出目标点的二维坐标，再利用pnp算法，实现目标点二维坐标至三维坐标的转换以及目标物体的位姿估计，但是pnp算法在现实应用中会出现误差，即当二维坐标的估计存在正常范围内的误差时，pnp算法会放大误差，得出误差较大的三维坐标，以致无法成功抓取的问题，所以本文所述方法将图像深度信息和目标点二维坐标信息融合，丰富目标三维坐标的信息，用以计算出准确的目标物体三维位置以及三维位姿，实现准确的抓取。

技术实现要素：

本发明提出一种基于视觉信息融合的机械臂抓取目标物体的方法，主要用于机械臂在复杂环境下的目标识别和抓取，能够使机械臂在复杂环境下实现快速稳定的目标物体三维位置和三维位姿的识别检测以实现机械臂抓取。

本发明包括以下主要步骤：

(1)通过置于机械臂末端上方的相机获取含有目标物体的rgb图像以及相机坐标系下的图像深度信息；

(2)基于所述rgb图像，利用深度学习方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；

(3)基于所述包围目标物体的三维矩形框的各点像素坐标，融合相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；

(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；

(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；

(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。

可选地，步骤(1)中所述的相机为rgb-d相机，固定在所述机械臂末端，随机械臂运动而运动。

可选地，步骤(2)中所述的深度学习方法是以包围目标物体的三维矩形框八个角点以及一个中心点的图像坐标和目标物体类别为训练标签，训练yolo目标检测网络，来获取可以检测目标物体的深度学习网络。

即输入为含有目标物体的rgb图像，目标检测网络将图像划分成s*s个格子，矩形框的中心点落在哪个格子，就由这个格子负责预测矩形框九个特征点的坐标，即输出为s*s*(9*2+1+c)的张量，其中1为目标物体的置信度，c为物体的类别。

可选地，步骤(3)中基于所述包围目标物体的三维矩形框的各角点和中心点二维坐标信息，融合所得相机坐标系下的图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点二维坐标转换为相机坐标下的三维坐标。

其中基于相机透视投影成像几何原理，先得出相机坐标系与图像坐标系的转换关系，设相机坐标系ocxcyc与图像坐标系oxy，p(xc,yc,zc)为目标物体在相机坐标系下三维坐标，p(x,y)为目标物体图像坐标系下坐标，c为相机光点，f为焦距，由成像几何原理可知：

即可得：

再由图像坐标系与像素坐标系的转换关系，其中图像坐标系由图像中心点为原点o(u0,v0)，像素坐标系以图像左上点为原点ouv，可得目标物体的相机坐标系下三维坐标与目标物体像素坐标的转换关系为：

其中(u，v)为目标物体特征点像素坐标，zc为该像素坐标对应的深度信息，是公式中的已知条件，(xc,yc)为待解未知量，矩阵中(fx,fy,u0,v0)为相机内参。

可选地，步骤(4)中将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。

目标物体在相机坐标系下的三维位姿求解问题可转换为目标物体在世界坐标系下到相机坐标系下的变换矩阵求解问题，设相机坐标系下目标物体特征点三维坐标为基准点集q，世界坐标系下的目标物体三维坐标为待配准点集p，变换矩阵(r，t)，用e(r,t)表待配准点集p在变换矩阵(r，t)下与基准点集q之间的误差：

则求解最优变换矩阵的问题就可以转化为求满足min(e(r，t))的最优解(r，t)

可选地，步骤(5)所述的相机坐标系与机械臂基座坐标系的转换关系为：

其中[xpryprzpr]^t为目标物体在机械臂坐标下的三维位置，而[xpcypczpc]^t为目标物体在相机坐标下的三维位置，t为手眼标定矩阵。

手眼标定矩阵的获取是通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，以此得相机坐标系与机械臂基座坐标系转换矩阵。

可选地，步骤(6)所述二指夹爪与机械臂连接，所述的目标物体三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作系统ros系统中用于运动规划的moveit！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。

附图说明

图1是实现本发明方法的系统示意图。

图2是实现本发明方法的方法流程图。

具体实施方式

本发明提出的一种基于视觉信息融合的机械臂抓取目标物体方法，结合附图详细说明如下：

图1是实现本发明方法的系统示意图。实现基于视觉信息融合的机械臂抓取目标物体操作的系统包括rgb-d相机，安装在机械臂末端上方，随机械臂运动而运动，这种安装方式也称为眼在手上，可在机械臂运动的情况下获取变化的rgb图像及图像深度信息。

所述的机械臂含有以下特征：含有固定的机械臂基座以及能够自由活动的关节，现市面上流行的有六自由度、七自由度等机械臂，能够实现大范围的空间作业，并且机械臂末端与二指夹爪连接，用以实现目标物体识别后的抓取操作。

图2是实现本发明方法的方法流程图。基于视觉信息融合的机械臂抓取目标物体方法包括以下步骤：

(1)通过置于机械臂末端上方的相机获取含有目标物体的rgb图像以及相机坐标系下的图像深度信息；

可选地，相机为rgb-g相机。

(2)基于所述rgb图像，利用深度学习方法对目标物体进行检测，获取包围目标物体的三维矩形框的各角点及中心点的像素坐标；

可选地，所述的深度学习方法是以包围目标物体的三维矩形框八个角点以及一个中心点的图像坐标和目标物体类别为训练标签，训练yolo目标检测网络，来获取可以检测目标物体的深度学习网络。

(3)基于所述包围目标物体的三维矩形框的各点像素坐标，及相机坐标下的图像深度信息，计算出目标物体特征点在相机坐标系下的三维坐标；

可选地，基于所述包围目标物体的三维矩形框的各角点和中心点二维坐标以及所得相机坐标系下的图像深度信息，由相机的透视投影成像几何原理以及标定所得的相机内参，将三维矩形框各角点和中心点的像素坐标转换为相机坐标下的三维坐标。

(4)利用目标物体各特征点的三维坐标计算出目标物体在相机坐标系下的三维位置以及三维位姿；

可选地，将目标物体三维矩形框中心点的三维坐标作为目标物体在相机坐标系下的三维位置，并根据得到的目标物体各特征点的三维坐标利用迭代最近点方法，求解目标物体在相机坐标系下的三维位姿。

(5)将目标物体在相机坐标系下的三维位置以及三维位姿转换至机械臂基座坐标系下；

可选地，通过多次运动机械臂末端，使相机采集多次标定板信息，其中机械臂基座与标定板固定不动，机械臂基座坐标系与机械臂末端坐标系的转换矩阵已知，相机坐标系下的标定板坐标已知，求解可得机械臂末端坐标系与相机坐标系得转换矩阵，又由已知的机械臂基座坐标系与机械臂末端坐标系的转换矩阵，得到相机坐标系与机械臂基座坐标系的转换矩阵。

(6)利用所述目标物体在机械臂基座坐标系下的三维位置以及三维位姿作为机械臂逆运动学输入，使用机械臂连接的二指夹爪进行目标抓取。

可选地，所述二指夹爪与机械臂连接，所述的目标物体三维位置以及三维位姿作为机械臂逆运动学输入，向机械臂发出运动控制指令，使用机器人操作系统ros系统中用于运动规划的moveit！功能包，进行机械臂末端到目标位置及位姿的运动规划，当机械臂末端运动到目标位置及位姿时，根据所述运动控制指令，由二指夹爪进行张开、夹紧完成目标物体抓取任务。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除