基于三维扫描识别的投影示教枪的制作方法

本发明属于示教用具相关技术领域，具体涉及基于三维扫描识别的投影示教枪。

背景技术：

随着科技的发展，机械臂已经被越来越多的企业所使用，直接提高了生产效率和减少了各种生产污染对员工的伤害。然而机械臂往往需要专业的人员进行编程示教，进而提高了工业机械臂应用的门槛和使用成本。市场亟需普通工人也能简单实施示教的示教器。

目前市场上主流的机械臂示教器是带屏幕和键盘的手持示教器，可以通过键盘逐行输入移动命令进行示教。这种编程方法，对示教人员要求高，过程繁杂，耗时长，需要能进行编程的专业人员才能实施。

另外一种比较常见的是机械臂的末端安装六维传感器手柄，人手推拉六维传感器的时候，机械臂能够按照人拖拉的方向和力度进行移动，然后逐点标定。此方法，减少了对于示教员的技术要求。但是示教过程也是机械臂电机实际运转的过程，出于安全原因，机械臂的跟随动作较慢，而且示教中人和机械臂站在一起，容易发生意外。外加上对机械臂末端的拖拉和工人实际工作中的手法习惯不一样，在轨迹的优化和工作节拍的处理方面比较难以达到最佳状态。

因为这些问题，一些新颖的机械臂示教方式逐渐被提出，专利【cn105252538b】提出了用惯性单元设置于示教器本体上，通过惯性单元传感示教器的姿态，从而控制机械臂移动的方案。此方案轻巧，易于携带，但是存在示教时需要复杂的设置和需要通过显示系统人为判断微小移动的问题。以及惯性测量单元测量的数据为积分数据，要求传感器有非常高的精度，外加采集的数据误差会累加，导致示教的数据误差过大，很难满足工业机械臂的示教要求。

随着光学三维定位技术的发展，越来越多的基于三维动作识别的示教方法被提出：

如专利【cn107063130a】提出了利用光栅投影技术对被测工件进行三维重构，结合二维轮廓提取焊接工件的轮廓三维信息并用于焊接机器人的自动控制。此方法相对方便，精度较高，但是利用这种机器视觉进行运动测量依赖的特征信息可能会被遮挡或特征点不清晰，需要人工处理。这样的处理工作，是需要很高电脑操作能力的示教员才能完成的工作。对于普通低学历操作者来说是极其困难的。目前电脑自动轨迹规划技术也仅限制于一些特殊的应用场合，当有特殊要求，比如用到打磨上，在打磨过程中需要像熟练工人一样不断调整打磨片的角度，自动规划很难实现。

发明专利【cn108214495a】提出一种工业机器人示教系统和方法，该方法使用2个红外激光发射基站进行扫描定位，在手持定位器上设置28个红外光敏传感器来获取手持定位器的空间数据。此方法示教灵活，但是通过接收红外光来计算空间位置，得到的数据不够稳定，示教工具生产装配对精度影响高，使用过程中红外光容易被遮挡，示教环境的布置和系统标定需要较高的技巧性，非普通员工所能实施。

发明专利【cn109848964a】提出一种基于光学动作捕捉的示教机器人数据采集系统，其通过8个专门设计的带闪光灯单元的运动捕捉相机，实时收集作业工具上的反射光来定位作业工具的空间位置。发明专利【cn110125944a】提出用6个2.5米高的红外摄像机搭建半径为1-3米的环形示教环境。摄像机拍摄带6个反光球体的示教装置，并传输到计算机工作站，由计算机工作站进一步处理得到示教装置的空间坐标。发明专利【cn110142770a】提出6个动作捕捉摄像机等距离围成边长1.5m的正六边形，对多标志物刚体质心的示教器位置进行实时的捕捉，获得刚体的轨迹，用于示教。

以上方式通过在环境中布置多个摄像机，对有特征的示教工具进行运动轨迹捕捉的方式定位精度较高。但是存在以下问题：

1、为了保障示教工具不被遮拦，需要在示教空间中布置较多的摄像机，或者需要移动摄像机。摄像机越多，对于图形运算处理的硬件资源要求越高。如何布置摄像机，如何进行调试和标定，对于示教员都有很高的技术要求。布置多摄像机的示教环境，对于示教本身也是非常高的开销。

2、基于多摄像机视觉定位的原理，带标记的示教工具离摄像机越远，定位精度越差，而为了方便示教，摄像机只能布置于示教环境四周，限制了示教精度。

3，摄像机一般布置于示教环境四周，对于摄像机无法捕捉的区域，比如轮船桨叶等工件有较大暗角的区域，或者是需要示教工具进入内部进行示教的管道区域，摄像机无法拍摄，无法进行正常示教。

技术实现要素：

本发明的目的在于提供基于三维扫描识别的投影示教枪，以解决上述背景技术中提出的机械臂示教难度高以及普通员工不能将熟练手法简单传递给机械臂的问题。

为实现上述目的，本发明提供如下技术方案：基于三维扫描识别的投影示教枪，包括示教枪体和示教工具，所述示教工具安装在示教枪体的前端，所述示教枪体包括微型投影仪、高速摄像机一、高速摄像机二、触摸屏、主枪柄、主扳机、固定螺丝与接口以及充电口，所述高速摄像机一、高速摄像机二对称固定于微型投影仪的前端两侧，所述触摸屏装设于微型投影仪的后端，所述主扳机装设于主枪柄的前侧上端，所述usb接口开设于微型投影仪的后端左侧外壁上，所述充电口开设于主枪柄的下端左侧外壁上，所述示教工具的后端与微型投影仪通过固定螺丝固定连接，所述示教工具包括主定位环、副定位环、副枪柄、副扳机、位移传感器与安装杆以及可拆卸工具头，所述位移传感器套设于副定位环的内部，所述副定位环与主定位环前后装设于安装杆上，所述可拆卸工具头的后端插接于位移传感器的前端内部，所述安装杆的后端与副枪柄固定连接，所述副扳机装设于副枪柄的前侧上端。

优选的，所述主枪柄的内部装填有系统工作使用的可充电电池，所述充电口为示教枪体可充电电池的充电接口。

优选的，所述主扳机与主枪柄的连接处装设有角度传感器。

优选的，所述主定位环与副定位环均呈带有8根辐条的圆环结构，且各自辐条的相互间隔为45度，所述副定位环的外环直径大于主定位环的外环直径，所述副定位环的8根辐条和主定位环的8根辐条相互错开22.5度。

优选的，所述副扳机与副枪柄连接处内置行程开关。

优选的，所述可拆卸工具头有示教用工具头一、示教用工具头二与点胶工具头以及焊接工具头多种替换形式，所述示教用工具头一与示教用工具头二内部均装设有弹簧。

优选的，所述触摸屏内部装设有进行三维图像处理的计算单元。

优选的，所述高速摄像机一与高速摄像机二对示教时工件的图像数据进行采集并获得示教工具上主定位环与副定位环和工件被拍摄到的部分图像的三维数据，将工件部分三维图像匹配到已获得的工件整体三维模型中，获得主定位环与副定位环的空间姿态信息，并反向计算出示教工具在各个瞬间的空间位姿，包含示教工具末端在机械臂基坐标系c1下的绝对坐标x，y，z和示教工具的姿态欧拉角α,β,γ，并将获得的x，y，z和α，β，γ以半透明箭头的形式叠加显示于工件的三维图形上。

与现有机械臂示教用具技术相比，本发明提供了基于三维扫描识别的投影示教枪，具备以下有益效果：

本发明示教过程首先通过投影仪投射变化的结构光，双摄像机采集图像，运算处理后获得工件整体三维模型，然后，示教枪前装载伴随示教枪一起移动的示教工具，模仿实际加工过程，手持并移动示教枪进行示教，移动过程中，快速处理和获得示教工具上两定位环和工件部分图像的三维数据，将工件部分图像匹配到已获得的工件整体三维模型中，反向计算出示教工具在各个瞬间的空间位姿，形成精确的轨迹，用以控制工业机械臂，此方法，不需要额外的摄像机和光源，不需要进行命令编程，工具便携，使用简单。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制，在附图中：

图1为本发明提出的基于三维扫描识别的投影示教枪结构示意图；

图2为本发明提出的示教枪体与示教工具拆分结构示意图；

图3为本发明提出的示教枪体与示教工具细节示意图；

图4为本发明提出的机械臂基坐标系示意图；

图5为本发明提出的mark点示意图；

图6为本发明提出的示教用工具头二结构示意图；

图中：a1、触摸屏；a2、usb接口；a3、主枪柄；a4、充电口；a5、高速摄像机一；a6、高速摄像机二；a7、微型投影仪；a8、固定螺丝；a9、主扳机；b1、主定位环；b2、副枪柄；b3、副扳机；b4、副定位环；b5、弹簧；b6、示教用工具头一；b7、位移传感器；b20、示教用工具头二；a30、示教枪体；b30、示教工具；c1、机械臂基坐标系；m30、mark点。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1至图6，本发明提供一种技术方案：基于三维扫描识别的投影示教枪，包括示教枪体a30和示教工具b30，示教工具b30安装在示教枪体a30的前端，示教枪体a30包括微型投影仪a7、高速摄像机一a5、高速摄像机二a6、触摸屏a1、主枪柄a3、主扳机a9、固定螺丝a8与usb接口a2以及充电口a4，高速摄像机一a5与高速摄像机二a6对称固定于微型投影仪a7的前端两侧，微型投影仪a7主要是投影结构光，和高速摄像机一a5、高速摄像机二a6共同完成三维扫描，在完成示教之后，可以将触摸屏a1显示的路径规划同步放大投影到白墙上，方便查看，触摸屏a1装设于微型投影仪a7的后端，触摸屏a1能实时显示扫描的三维图像；能显示触摸按键，供示教员点击并完成相应命令，主扳机a9装设于主枪柄a3的前侧上端，主枪柄a3方便示教员握持所用，usb接口a2开设于微型投影仪a7的后端左侧外壁上，usb接口a2可以插u盘，转存示教文件至机械臂主机，以及出厂调试的时候，写入配置信息，充电口a4开设于主枪柄a3的下端左侧外壁上，示教工具b30的后端与微型投影仪a7通过固定螺丝a8固定连接，示教工具b30包括主定位环b1、副定位环b4、副枪柄b2、副扳机b3、位移传感器b7与安装杆以及可拆卸工具头，位移传感器b7套设于副定位环b4的内部，位移传感器b7内置于副定位环b4内部，可以感知可拆卸工具头的被挤压量，副定位环b4与主定位环b1前后装设于安装杆上，可拆卸工具头的后端插接于位移传感器b7的前端内部，安装杆的后端与副枪柄b2固定连接，副枪柄b2为方便示教员握持所用，副扳机b3装设于副枪柄b2的前侧上端。

进一步，主枪柄a3的内部装填有系统工作使用的可充电电池，充电口a4为示教枪体a30可充电电池的充电接口，从而能够在电量不足的情况下充电使用，使得示教枪能够依赖自身电池独立工作，从而方便示教员移动携带。

更进一步，主扳机a9与主枪柄a3的连接处装设有角度传感器，能够感知示教员扣动扳机的力度，并将力度转换为控制机械臂电动工具的执行强度，比如打磨工具的旋转速度和喷涂工具的喷涂强度。

需要留意的是，主定位环b1与副定位环b4均呈带有8根辐条的圆环结构，且各自辐条的相互间隔为45度，副定位环b4的外环直径大于主定位环b1的外环直径，副定位环b4的8根辐条和主定位环b1的8根辐条相互错开22.5度，即任意一根主定位环b1的辐条沿垂直副定位环b4方向投影时，均会处于副定位环b4两根辐条之间，主定位环b1与副定位环b4的外环一大一小，以及辐条的错位，可以增强三维空间识别时对于主定位环b1与副定位环b4的识别精度。

值得注意的是，副扳机b3与副枪柄b2连接处内置行程开关，可以感知示教员扣下扳机的动作，功能等同于触摸屏上“启动示教”和“停止示教”按钮，方便示教员操作。

需要了解的是，可拆卸工具头有示教用工具头一b6与示教用工具头二b20两种替换形式，示教用工具头一b6与示教用工具头二b20内部均装设有弹簧b5，示教用工具头一b6是进行示教的时候，模仿机械臂实际电动工具的示教用工具头，此工具头带弹簧b5，可以适当沿中心轴前后伸缩，通过位移传感器b7，可以感知工具头和工件或其它物体发生触碰以及被挤压的大小。示教枪体a30内置微型扬声器，能够根据工具被压缩量大小发出频率等比快慢的“哔哔”声，示教过程中，示教枪处理器不断采集被挤压量的大小，并存储为变量“pressleveln”，此工具头前端可以更换，如更换为示教用工具头二b20，可拆卸工具头，定制设计成前端保持和机械臂实际携带的电动工具前端一致，比如打磨圆盘的外径一致，以保障示教和最终机械臂实施效果最大程度一致。

值得强调的是，触摸屏a1内部装设有进行三维图像处理的计算单元，用于进行三维图像的计算。

需要明白的是，通过在示教过程中，由高速摄像机一a5与高速摄像机二a6对示教时工件的图像数据进行采集并获得示教工具b30上主定位环b1与副定位环b4和工件被拍摄到的部分图像的三维数据，将工件部分三维图像匹配到已获得的工件整体三维模型中，获得主定位环b1与副定位环b4的空间姿态信息，并反向计算出示教工具b30在各个瞬间的空间位姿，包含示教工具b30末端在机械臂基坐标系c1下的绝对坐标x，y，z和示教工具b30的姿态欧拉角α,β,γ，并将获得的x，y，z和α，β，γ以半透明箭头的形式叠加显示于工件的三维图形上。

基于三维扫描识别的投影示教枪的使用方法，包括以下步骤：

s1：如图4所示，将待加工的工件放置于机械臂前，并在正对机械臂的面贴三个mark点m30，三个mark点尽量选择工件上方靠中间位置、工件左下角、工件右下角位置，用机械臂本身自带的键盘或者摇杆控制器移动机械臂工具末端至第一个mark点圆心，并记录机械臂工具末端坐标x，y，z坐标，将坐标值通过触摸屏a1手动输入投影示教枪，然后移动机械臂工具末端至第二个mark点圆心，获得第二个点x，y，z坐标，输入投影示教枪，然后再移动至第三个mark点圆心，获得坐标x，y，z，并输入投影示教枪；

s2：示教员通过机械臂本身自带的键盘或者摇杆控制器将机械臂移动至远离工件的位置，以方便后续的工件三维扫描；

s3：将投影示教枪前端示教工具b30卸掉，点击投影示教枪触摸屏a1上“工件全局扫描”按钮，对待加工的工件进行全局扫描，此过程中，示教员手握示教枪，并依据投影仪投射的结构光和触摸屏a1不断更新显示的扫描结果，持续移动示教枪，对需要加工的工件进行立体全局扫描，扫描结束后，示教枪触摸屏a1显示扫描所获得的工件三维模型；

s4：触摸屏a1上所有mark点m30被示教枪处理器处理和自动识别后，以高亮显示，示教员滑动触摸屏a1，旋转显示的工件三维模型，找到第一个高亮mark点，点击mark点后触摸屏a1自动显示刚才输入的3个mark点圆心坐标，点击选择对应的第一个点坐标值，然后滑动触摸屏a1，找到第二个高亮mark点，点击选择对应的第二个点坐标值，然后选择第三个高亮mark点，点击选择对应的第三个点坐标值；

s5：通过上一步骤三个点对应坐标配对完成后，示教枪处理器对采集的三维图像和机械臂的坐标进行定标处理，即示教枪处理器依据三点坐标对三维模型进行整体旋转和平移，使得三维模型中mark点的坐标和机械臂基坐标系c1下的一致，完成了示教枪的示教坐标系和机械臂基坐标系c1的坐标统一；

s6：操作员通过固定螺丝a8将示教工具b30固定于示教枪上，双手握持示教枪，点击触摸屏a1“工具头定标”按钮，示教枪开始投射结构光，然后将示教枪对准平滑的墙面或者其它平滑的物体表面，缓慢移动示教枪，使得示教枪工具以垂直的角度靠上光滑平面，示教枪前端触碰上平面后，示教枪的位移传感器b7反馈回触碰的信号，示教枪发出“哔哔”声，示教枪默认工具位于主定位环b1与副定位环b4的中心连接轴上，通过运算出来的三维图像，计算主定位环b1与副定位环b4的空间坐标，以及相对于平滑平面的距离，计算出工具末端相对于主定位环b1与副定位环b4的空间坐标，此时示教枪工具末端在示教时候的坐标即等同于机械臂电动工具末端的坐标；

s7：示教员双手手持示教枪，扣动副扳机b3启动示教，示教员模仿加工动作，不断移动示教枪和扣动主扳机a9模仿机械臂电动工具的动作力度，移动过程中，微型投影仪a7不断投射变化的结构光，每隔微小时间间隔，例如10ms每次或者更短的周期，实时采样主扳机a9扣动的角度，存储为变量“toolleveln”、示教工具被挤压量存储为变量“pressleveln”，以及对双摄像机的图像数据进行快速处理，获得示教工具b30上主定位环b1与副定位环b4和工件被拍摄到的部分图像的三维数据，将工件部分三维图像匹配到已获得的工件整体三维模型中，获得主定位环b1与副定位环b4的空间姿态信息，并反向计算出示教工具在各个瞬间的空间位姿，包含示教工具b30末端在机械臂基坐标系c1下的绝对坐标x，y，z和示教工具b30的姿态欧拉角α,β,γ，并将获得的x，y，z和α，β，γ以半透明箭头的形式叠加显示于工件的三维图形上；

s8：当操作员移动至预期示教轨迹末尾，并松开投影枪副扳机b3，示教控制器发出三短一长“哔哔哔哔”声，示教结束，示教枪的处理器按顺序对示教过程不断获得的示教工具b30坐标、主扳机a9扣动力度、示教工具b30被挤压量逐行生成例如move(x，y，z,α,β,γ)、tool(toolleveln)、press(pressleveln)的机械臂对应移动控制命令，并汇总成对机械臂可执行的示教文件；

s9：结束移动示教后，操作员通过触摸屏a1或投影功能察看并确认生成的轨迹，检查无误之后通过u盘将生成的离线示教文件拷贝到机械臂控制器中，进行运行。

可选的，对于机械臂实际工作过程中，如果机械臂的电动工具和工件会发生接触，外加待加工的工件之间有细微差别，或者生产过程中工件固定精度不高的，可以在机械臂末端法兰和电动工具间加装带电动伸缩和挤压力传感的浮动控制机构，通过示教文件中，每行“pressleveln”的值，控制浮动控制机构伸缩，使得反馈的挤压力等比于“pressleveln”的值，以减少加工误差。

可选的，示教时，如果待加工的工件较大，用可擦除的标记笔，较均匀的在工件上间隔一定范围画十字叉，以增强工件的光学三维可识别性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除