商标分类 
商标转让 
您当前的位置： 一种基于双目视觉和姿态优化的工件无序抓取方法与流程
2021-01-19 13:01:32|
250|
起点商标网
本发明涉及工业分拣工序中的工件抓取技术领域，具体涉及一种基于双目视觉和姿态优化的工件无序抓取方法。
背景技术：
在工业现场的分拣作业中，传统场景中的简单抓取与放置已经逐渐发展到复杂无规则的抓放，在现有的场景下，物料一般无规则堆叠放置在料框中。面对工件的姿态不确定和任意摆放，2d视觉不能获取工件的姿态，显然已经不能满足要求，所以当前有利用双目的方式获得工件的点云数据，利用深度信息确定工件的姿态的方法，但是在工件抓放过程中，还必须对抓取的姿态进行优化，避免机械臂与环境的干涉，当前还缺少确实可行的解决方案。
技术实现要素：
针对现有技术的不足，本发明旨在提供一种基于双目视觉和姿态优化的工件无序抓取方法。
为了实现上述目的，本发明采用如下技术方案：
一种基于双目视觉和姿态优化的工件无序抓取方法，包括如下步骤：
s1、建立双目视觉系统：设置左相机和右相机，并且保证装载工件的料框同时在左相机和右相机的视野内，从而保证料框及其中的工件可以同时被左相机和右相机拍摄到；
s2、对左相机和右相机进行标定和校准；
s3、获取深度图：左相机和右相机拍摄相同的工件，由于左右相机的安装角度不同，因此左相机和右相机的图像会产生视差，由此获得图像中任意像素点的深度信息；
s4、确定抓取姿态：
通过步骤s3获取的工件的深度图，在深度图的基础上确定工件姿态：首先建立工件的三维点云模型，然后采用三维匹配的方式进行工件三维姿态的确定，通过三维点云模板匹配就可以得到工件的位置p和姿态r，工件相对于世界坐标的转换矩阵记为t，则t的表达式如下：
s5、优化抓取姿态：根据工件种类的不同，采用不同的抓取策略进行姿态优化；工件种类主要按照工件沿工件坐标系的z轴、y轴和x轴的旋转对称性进行分类；
工件沿z轴旋转对称：抓取姿态沿工件坐标系的z轴进行旋转都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态的计算公式如下：
其中，θ表示沿z轴的转角；
工件沿y轴旋转对称：抓取姿态沿工件坐标系的y轴进行旋转，都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态如下：
其中，α表示沿y轴的转角；
工件沿x轴旋转对称：抓取姿态沿工件坐标系的x轴进行旋转都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态如下：
其中，β表示沿x轴的转角；
s6、最优姿态的选取；
按照能量最优的方式对步骤s5得到的优化后的旋转姿态进行选择，选择策略是找到一个优化后的旋转姿态，使得优化后的机械臂各轴的转角与当前的机械臂各轴的转角的差最小；
s7、无序抓取；
最终的抓取姿态为平移量不发生变化，旋转量根据步骤s6所选择的优化后的旋转姿态进行实际的变化，其表达式如下：
将最终的抓取姿态发送给机械臂，机械臂控制夹爪完成抓取动作，从而实现基于双目视觉和姿态优化的工件无序抓取。
进一步地，步骤s2中，标定的具体过程如下：
s2.1、利用现有的matlab标定方法分别对左相机和右相机的内参数和外参数进行标定，得到左相机和右相机与世界坐标系的转化关系；
s2.2、将标定板放置在左相机和右相机的视野的交集位置，然后分别用左相机和右相机拍摄10张图片，利用图像特征识别算法对左相机和右相机拍摄的图片中标定板上的特征点进行识别和定位；标定板上各个特征点的位置关系是已知的，所以可以计算得到左相机和右相机相对于标定板坐标系的转化关系并分别记为：
s2.3、由步骤s2.2中得到的左相机和右相机相对于标定板坐标系的转化关系，计算左相机和右相机的位置关系，计算公式如下：
更进一步地，步骤s2中，校准的具体过程为：
s2.4、利用步骤s2.3得到的左相机和右相机的转化关系，将左相机作为主坐标系，把右相机图像中的每个点都映射到左相机坐标系下，进行图像校准；由于左相机和右相机拍摄的是相同工件的图像，对左相机拍摄的图像和右相机转化到左相机的图像，分别找工件的特征点，并调整右相机图像令相同的特征点处于图像的同一行。
进一步地，步骤s3的具体过程为：
记左相机和右相机中心点之间的距离为b，设空间点m在左相机和右相机的图像坐标分别为l（u1，v1）和r（u2，v2），设点空间点m相对于左相机的实际空间坐标为m（x，y，z），则由相机的小孔成像原理可得：
f代表左相机的焦距，视差定义为m点在左相机和右相机的图像中沿u方向的坐标差，代入上式中，计算结果如下式所示：
按下式计算点m距离左相机的距离z：
通过上述过程计算图像上的任意像素点相对于左相机的距离，从而获得整个图像的深度图。
本发明的有益效果在于：本发明方法通过双目视觉和姿态优化的结合，可以实现寻找较优的抓取姿态，减少机械臂和周围环境对工件抓取的干涉，从而有效地在工件任意堆叠的无序场景下实施工件抓取。
附图说明
图1为本发明实施例中双目视觉系统的建立示意图；
图2为本发明实施例中校准后的双目视觉等效原理图。
具体实施方式
以下将结合附图对本发明作进一步的描述，需要说明的是，本实施例以本技术方案为前提，给出了详细的实施方式和具体的操作过程，但本发明的保护范围并不限于本实施例。
本实施例提供一种基于双目视觉和姿态优化的工件无序抓取方法，包括如下步骤：
s1、建立双目视觉系统：如图1所示，设置左相机100和右相机200，并且保证装载工件的料框300同时在左相机和右相机的视野内，从而保证料框及其中的工件可以同时被左相机和右相机拍摄到；
s2、双目标定和校准；
建立双目视觉系统后需要对左相机和右相机的参数进行标定，标定时需要确定左相机和右相机的相对位置关系。本实施例采用的具体标定方法如下：
s2.1、利用现有的matlab标定方法分别对左相机和右相机的内参数和外参数进行标定，得到左相机和右相机与世界坐标系的转化关系；
s2.2、将标定板放置在左相机和右相机的视野的交集位置，然后分别用左相机和右相机拍摄10张图片，利用图像特征识别算法对左相机和右相机拍摄的图片中标定板上的特征点进行识别和定位；标定板上各个特征点的位置关系是已知的，所以可以计算得到左相机和右相机相对于标定板坐标系的转化关系并分别记为：
s2.3、由步骤s2.2中得到的左相机和右相机相对于标定板坐标系的转化关系，计算左相机和右相机的位置关系，计算公式如下：
本实施例采用的具体校准方法如下：
s2.4、利用坐标系的转化关系，就可以进行左相机和右相机的校准：将左相机作为主坐标系，把右相机图像中的每个点都映射到左相机坐标系下，进行图像校准；由于左相机和右相机拍摄的是相同工件的图像，对左相机拍摄的图像和右相机转化到左相机的图像，分别找工件的特征点，并调整右相机图像令相同的特征点处于图像的同一行。校准的目的是将左相机和右相机的图像的相同特征点校准到同一条直线上。
s3、获取深度图：左相机和右相机拍摄相同的工件，由于左右相机的安装角度不同，因此左相机和右相机的图像会产生视差，由此就可以获得图像中任意像素点的深度信息；
校准后的双目视觉等效原理图如图2所示；左相机和右相机中心点之间的距离为b，设空间点m在左相机和右相机的图像中的点为p1和p2，p1和p2的坐标分别为l（u1，v1）和r（u2，v2），设点空间点m相对于左相机的实际空间坐标为m（x，y，z），则由相机的小孔成像原理可得：
f代表左相机的焦距，视差定义为m点在左相机和右相机的图像中沿u方向的坐标差，代入式（3）中，计算结果如下式所示：
按下式计算点m距离左相机的距离z：
通过上述过程可以计算图像上的任意像素点相对于左相机的距离，从而获得整个图像的深度图；
s4、确定抓取姿态：
通过步骤s3可以获取工件的深度图，在深度图的基础上确定工件姿态：首先建立工件的三维点云模型，然后采用三维匹配的方式进行工件三维姿态的确定，通过三维点云模板匹配就可以得到工件的位置p和姿态r，工件相对于世界坐标的转换矩阵记为t，则t的表达式如下：
s5、优化抓取姿态：根据工件种类的不同，采用不同的抓取策略进行姿态优化；工件种类主要按照工件沿工件坐标系的z轴、y轴和x轴的旋转对称性进行分类；
工件沿z轴旋转对称：抓取姿态沿工件坐标系的z轴进行旋转都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态的计算公式如下：
其中，θ表示沿z轴的转角；
工件沿y轴旋转对称：抓取姿态沿工件坐标系的y轴进行旋转，都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态如下：
其中，α表示沿y轴的转角；
工件沿x轴旋转对称：抓取姿态沿工件坐标系的x轴进行旋转都可完成抓取；以5度作为步长，对360度范围做搜索，搜索无碰撞且与当前姿态最接近的姿态；每个优化后的旋转姿态如下：
其中，β表示沿x轴的转角；
s6、最优姿态的选取；
按照能量最优的方式对步骤s5得到的优化后的旋转姿态进行选择，选择策略是找到一个优化后的旋转姿态，使得优化后的机械臂各轴的转角与当前的机械臂各轴的转角的差最小。这样可保证机械臂运动到目标位置消耗能量最小。
以六轴机械臂为例，选择最优姿态如下式（10）所示：
其中，a表示使得优化后的机械臂各轴的转角与当前的机械臂各轴的转角的差之和，
s7、无序抓取；
最终的抓取姿态为平移量不发生变化，旋转量根据步骤s6所选择的优化后的旋转姿态进行实际的变化，其表达式如下：
将最终的抓取姿态发送给机械臂，机械臂控制夹爪完成抓取动作，从而实现基于双目视觉和姿态优化的工件无序抓取。
对于本领域的技术人员来说，可以根据以上的技术方案和构思，给出各种相应的改变和变形，而所有的这些改变和变形，都应该包括在本发明权利要求的保护范围之内。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
