具有水果成熟度辨别功能的机器人手臂装置的制作方法

2021-01-06 18:01:39|

506|

起点商标网

本发明属于农业机器人技术领域，尤其涉及一种具有水果成熟度辨别功能的机器人手臂装置。

背景技术：

我国苹果产量和栽培面积均居世界第一，是传统优势出口产品。在苹果的生产中，采摘作业是最费力、最耗时的一个环节。目前苹果采摘作业主要由人工完成，需要大量的劳动力，随着社会人口老龄化的不断加深，存在采摘效率低、成本高、劳动量大等问题。一般苹果的机械化采摘，通过振动使苹果树上的果实掉落，甚至使用大面积拔除的方法，无法针对果实的具体的成熟度、大小等差异，致使果实的品质受到很大的影响。随着计算机技术、人工智能技术和自动控制技术的发展，机器人正逐步替代人工采摘作业，这使得苹果采摘机器人成为现代生产的重要需求。

现有技术中苹果采摘机械手结构复杂、生产成本高，机械手在采摘苹果时容易造成果皮破损甚至破坏果肉，对果实的质量造成严重的影响，同时传统的苹果采摘机械手智能程度较低，不具备识别苹果成熟度的能力，容易采摘未成熟的果实，这样不但影响苹果采摘效率，同时会对种植果树的商家造成损失。

技术实现要素：

为解决现有技术中苹果采摘机械手存在的结构复杂、生产成本高以及容易造成果皮破损甚至破坏果肉，对果实的质量造成严重的影响，不具备识别苹果成熟度的能力，容易采摘未成熟的果实的问题，提供一种具有水果成熟度辨别功能的机器人手臂装置，该装置可以应用于苹果等水果的采摘机器人领域。

为解决上述问题，本发明采取如下的技术方案：

一种具有水果成熟度辨别功能的机器人手臂装置，包括机械臂机构、柔性手爪机构、rgbd摄像头和控制台，所述机械臂机构包括第一机械臂和第二机械臂；

所述第一机械臂的第一端与安装在机械臂塔台上的第一舵机的输出轴固定连接，所述第一机械臂的第二端通过第一机械关节与所述第二机械臂的第一端连接，所述第二机械臂的第二端通过第二机械关节与所述柔性手爪机构连接，所述第一机械关节和所述第二机械关节分别设有第二舵机和第三舵机，所述第一舵机、所述第二舵机和所述第三舵机分别与所述控制台电连接；

所述柔性手爪机构包括柔性指关节机构和用于控制所述柔性指关节机构抓取动作的手爪舵机，所述柔性指关节机构包括三个呈包络状的柔性指，且每一个所述柔性指与水果接触的一侧设有柔性薄膜压力传感器，所述柔性薄膜压力传感器和所述手爪舵机分别与所述控制台电连接；

所述rgbd摄像头固定安装在云台上，所述云台通过支架与所述机械臂塔台连接，且所述rgbd摄像头和所述云台分别与所述控制台电连接；

所述控制台包括控制模块和水果成熟度辨别模块，所述水果成熟度辨别模块利用训练好的lenet-5卷积神经网络模型对所述rgbd摄像头采集的水果图片进行识别，并将识别结果发送至所述控制模块，所述控制模块根据所述识别结果和所述rgbd摄像头采集的水果图片控制所述第一舵机、所述第二舵机、所述第三舵机和所述手爪舵机转动，完成对目标成熟水果的抓取动作，同时所述控制模块接收所述柔性薄膜压力传感器发送的传感数据，并根据所述传感数据调整所述手爪舵机的转动。

本发明相对于现有技术具有以下有益效果：

1、本发明提供一种具有水果成熟度辨别功能的机器人手臂装置，在实现苹果等水果采摘的同时达到不损伤果皮和果肉的目的，并且可以在现场辨别水果是否成熟，进而解决了现有技术中采摘机器人在采摘过程中容易造成果破损甚至破坏果肉的问题；

2、本发明中柔性指关节机构的三个柔性指整体呈包络状，易于抓取果实，同时柔性薄膜压力传感器在采摘时能及时做出力的反馈而不损伤果皮和果肉，相对于其他压力传感器而言感知精度更高且灵敏，形状薄而柔韧，更加适用于柔性手爪，不但可以保证果实的质量而且可以延长柔性手爪的寿命；

3、本发明中水果成熟度辨别模块采用tensorflow框架下搭建的lenet-5卷积神经网络模型的设计，本模型的设计需要现场采集合适的数据集并经过降噪处理，使得构建的神经网络模型更加的精准，在识别现场苹果成熟度时成功率更高，同时在保证训练的正确率的同时减少了传统卷积神经网络结构的层数，加快了计算速度，拥有较好的时效性，另外，本发明使用rgbd摄像头采集图片信息相比一般相机而言深度信息更加可靠，且不受光线影响，为雾霾等恶劣天气下作业提供保障。

附图说明

图1为本发明具有水果成熟度辨别功能的机器人手臂装置的原理框图；

图2为本发明具有水果成熟度辨别功能的机器人手臂装置的结构示意图；

图3为本发明具有水果成熟度辨别功能的机器人手臂装置中柔性手爪机构的局部放大示意图；

附图标记包括：

1、柔性手爪机构；2、rgbd摄像头；3、第一机械臂；4、第二机械臂；5、机械臂塔台；6、手爪舵机；7、柔性指；8、柔性薄膜压力传感器；9、云台；10、支架。

具体实施方式

本发明克服了上述现有技术上的不足，提供一种具有水果成熟度辨别功能的机器人手臂装置，不但可以准确的识别出成熟可采摘的果实，而且保证在采摘果实的同时保证果皮不会破损，极大的节约了采摘未成熟果实所造成的浪费，适用于包括但不限于苹果在内的水果的采摘，具有采摘效率高、质量好等优点。下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。

在其中一个实施例中，如图1-3所示，本发明提供一种具有水果成熟度辨别功能的机器人手臂装置，该装置包括机械臂机构、柔性手爪机构1、rgbd摄像头2和控制台，其中机械臂机构包括第一机械臂3和第二机械臂4。

具体地，第一机械臂3的第一端与第一舵机的输出轴固定连接，第一舵机固定安装在机械臂塔台5上，第一机械臂3的第一端能够相对机械臂塔台5转动；第一机械臂3的第二端通过第一机械关节与第二机械臂4的第一端连接，第一机械关节设有第二舵机，使得第二机械臂4的第一端能够相对第一机械臂3的第二端转动；第二机械臂4的第二端通过第二机械关节与柔性手爪机构1连接，第二机械关节设有第三舵机，使得柔性手爪机构1能够相对第二机械臂4的第二端转动；第一舵机、第二舵机和第三舵机分别与控制台电连接，控制台可以驱动并控制第一舵机、第二舵机和第三舵机的转动，从而实现第一机械臂3、第二机械臂4以及柔性手爪机构1的驱动。

参见图3，柔性手爪机构1包括柔性指关节机构和用于控制柔性指关节机构抓取动作的手爪舵机6，其中柔性指关节机构包括三个呈包络状的柔性指7，并且每一个柔性指7与水果接触的一侧设有柔性薄膜压力传感器8，柔性薄膜压力传感器8和手爪舵机6分别与控制台电连接。三个呈包络状的柔性指7的结构可以完全相同，也可以不同，优选地，为更容易地实现对水果的抓取，三个呈包络状的柔性指7的其中一个柔性指7呈弧状，其余两个柔性指7呈鳍条状，如图3所示。本实施例中的柔性薄膜压力传感器8可以采用现有技术中的柔性薄膜压力传感器实现，此处不再赘述。

仍参见图2，rgbd摄像头2固定安装在云台9上，云台9通过支架10与机械臂塔台5连接，且rgbd摄像头2和云台9分别与控制台电连接。rgbd摄像头2用于在水果采摘的过程中实时采集柔性手爪机构1周围的水果图片，并将采集的水果图片发送至控制台，供控制台处理。控制台能够控制云台9的运动，从而调节rgbd摄像头2的视野。

本实施例中的控制台可以采用微型计算机实现，具体地，控制台包括控制模块和水果成熟度辨别模块，其中水果成熟度辨别模块利用训练好的lenet-5卷积神经网络模型对rgbd摄像头2采集的水果图片进行识别，得到识别结果并将识别结果发送至控制模块；当识别结果为成熟水果时，控制模块根据rgbd摄像头2采集的水果图片确定成熟水果的位置信息，其中根据水果图片确定成熟水果的位置信息的方式可以采用现有技术中采摘机器人所使用的水果位置确定方法实现，将位置信息表示成ascii码，通过uarto串口通信将ascii码传输给相应的处理芯片，处理芯片根据接收到的ascii码来控制机械臂机构和柔性手爪机构1上的各个舵机，从而完成对成熟水果即目标成熟水果的抓取动作；在控制模块根据识别结果和rgbd摄像头2采集的水果图片控制第一舵机、第二舵机、第三舵机和手爪舵机6转动，完成对目标成熟水果的抓取动作的同时，控制模块还用于接收柔性薄膜压力传感器8发送的传感数据，并根据传感数据调整手爪舵机6的转动，从而调节柔性手爪机构1的抓取力度，避免柔性手爪机构1的抓取力度过大或者过小而导致水果的损坏，通过柔性薄膜压力传感器8来及时获取采摘过程中力的反馈，在抓取时保证果实的质量。

进一步地，本实施例中训练好的lenet-5卷积神经网络模型通过以下步骤得到：

步骤一：获取同一类水果的图片并对已成熟水果的图片进行标注，制作得到训练数据集；优选地，训练数据集的准确率达到95％以上为合格；

步骤二：对训练数据集中的图片进行降噪处理；

步骤三：使用tensorflow框架搭建lenet-5卷积神经网络模型；

步骤四：使用降噪处理后的训练数据集对搭建的lenet-5卷积神经网络模型进行训练，得到训练好的lenet-5卷积神经网络模型。

更进一步地，步骤三中搭建的lenet-5卷积神经网络模型具体结构为：

第一层，卷积层，卷积核的大小为100x100x64，步长为1；

第二层，池化层，池化区间为50x50，步长为1；

第三层，卷积层，卷积核的大小为50x50x128步长为1；

第四层，池化层，池化区间为25x25步长为1；

第五层，全连接层1；

第六层，全连接层2。