一种基于人工智能的轨道式机器人防卡死检测方法及装置与流程

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的轨道式机器人防卡死检测方法及装置。

背景技术：

目前，轨道式清洁机器人被广泛应用于光伏电池板的清洁，不仅节省人力物力，还解决了光伏电池板位置过高人工难以清洁的问题。但是光伏电池板的松动会导致光伏电池板之间高低不平或存在较大缝隙，缝隙过大会导致清洁机器人卡死在光伏电池板之间，难以恢复；落差高度过高导致轨道式清洁机器人难以行进。

现有技术中对落差高度和缝隙宽度的测量主要采用红外测距传感器。红外测距传感器使用主动式红外射线照射，根据红外光线返回时间差进行距离换算，所以对于透明介质，如光伏电池板上的透明薄膜、玻璃等，会使光线不能正常反射，造成测距的误差；光伏电池板边缘的黑色物体会吸收光线，也会造成测距的误差。

技术实现要素：

为了解决上述技术问题，本发明的目的在于提供一种基于人工智能的轨道式机器人防卡死检测方法及装置，所采用的技术方案如下：

第一方面，本发明实施例提供了一种基于人工智能的轨道式机器人防卡死检测方法，该检测方法包括以下步骤：

获取光伏电池板roi区域的图像，所述roi区域的图像中包括所述光伏电池板的边缘图像；

将所述roi区域的图像输入语义分割网络模型，输出所述roi区域的分割结果图，所述分割结果图包括光伏电池板外部边缘框、光伏电池板内部区域和背景；

从所述分割结果图中获取所述光伏电池板边缘框的二值图像，将所述分割结果图转化为二值图像，根据所述二值图像中的白色像素点判断所述第一光伏电池板的第一纵向边缘框并计算第一纵向边缘线的直线方程，在检测到与所述第一纵向边缘框垂直的边缘框时，判断所述边缘框为第一横向边缘框，根据所述第一横向边缘框判断第二光伏电池板的第二横向边缘框；

计算所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙宽度，并与通过红外测距传感器得到的测量缝隙宽度求平均值得到缝隙宽度，当所述缝隙宽度大于缝隙阈值时，轨道式清洁机器人返航；

通过所述二值图像中所述第一光伏电池板的第一角点坐标和与所述第一角点坐标相邻的所述第二光伏电池板的第二角点坐标计算视觉落差高度，并与通过所述红外测距传感器得到的测量落差高度求平均值，得到落差高度，当所述落差高度大于高度阈值时，所述轨道式清洁机器人返航。

进一步地，所述计算第一纵向边缘线的步骤包括：

计算每行所述白色像素点的中心位置；

根据所述中心位置，判断各行所述白色像素点是否为线性关系；

在判断结果为线性关系时，计算所述第一纵向边缘线的直线方程。

进一步地，所述最大缝隙宽度的计算步骤包括：

检测所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙，获取所述最大缝隙所对应的黑色像素点的数量；

根据所述黑色像素点的数量，计算所述最大缝隙宽度。

进一步地，所述第一角点坐标为所述第一光伏电池板中横坐标最小且纵坐标最大所对应的坐标，与所述第一角点坐标相邻的所述第二角点坐标为所述第二光伏电池板中横坐标最小纵坐标最小所对应的坐标；

或者，所述第一角点坐标为所述第一光伏电池板中横坐标最大纵坐标最大所对应的坐标，与所述第一角点坐标相邻的所述第二角点坐标为所述第二光伏电池板中横向坐标最大纵向坐标最小所对应的坐标。

第二方面，本发明实施例提供了一种基于人工智能的轨道式机器人防卡死检测装置，该检测装置包括：

图像获取模块，用于获取光伏电池板roi区域的图像，所述roi区域的图像中包括所述光伏电池板的边缘图像；

语义分割模块，用于将所述roi区域的图像输入语义分割网络模型，输出所述roi区域的分割结果图，所述分割结果图包括光伏电池板外部边缘框、光伏电池板内部区域和背景；

边缘框检测模块，用于从所述分割结果图中获取所述光伏电池板边缘框的二值图像，根据所述二值图像中的白色像素点判断所述第一光伏电池板的第一纵向边缘框并计算第一纵向边缘线的直方程，在检测到与所述第一纵向边缘框垂直的边缘框时，判断所述边缘框为第一横向边缘框，根据所述第一横向边缘框判断第二光伏电池板的第二横向边缘框；

缝隙宽度判断模块，用于计算所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙宽度，并与通过红外测距传感器得到的测量缝隙宽度求平均值得到缝隙宽度，当所述缝隙宽度大于缝隙阈值时，轨道式清洁机器人返航；

落差高度判断模块，用于通过所述二值图像中所述第一光伏电池板的第一角点坐标和与所述第一角点坐标相邻的所述第二光伏电池板的第二角点坐标计算视觉落差高度，并与通过所述红外测距传感器得到的测量落差高度求平均值，得到落差高度，当所述落差高度大于高度阈值时，所述轨道式清洁机器人返航。

进一步地，所述边缘框检测模块包括第一纵向边缘线判断模块，所述第一纵向边缘线判断模块包括：

中心位置计算单元，用于计算每行白色像素点的中心位置；

线性判断单元，用于根据所述中心位置，判断各行所述白色像素点是否为线性关系；以及

方程计算单元，用于在判断结果为线性关系时，计算所述第一纵向边缘线的直线方程。

进一步地，所述缝隙宽度判断模块包括最大缝隙宽度模块，所述最大缝隙宽度模块包括：

黑色像素点数量获取模块，用于检测所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙，获取所述最大缝隙所对应的黑色像素点的数量；以及

最大缝隙宽度计算模块，用于根据所述黑色像素点的数量，计算所述最大缝隙宽度。

本发明实施例至少具有如下有益效果：

本发明实施例提供了一种基于人工智能的轨道式机器人防卡死检测方法，该方法通过将光伏电池板roi区域图像输入语义分割网络模型，得到分割结果图；通过分析光伏电池板边缘框的二值图像和红外测距传感器的数据，得到光伏电池板间的缝隙宽度和落差高度；当缝隙宽度和落差高度大于设定阈值时，轨道式清洁机器人返航。该方法解决了缝隙过大或落差高度过高导致机器人卡死和难以行进的问题，以及红外测距传感器测距不准确的问题，增加了判断结果的准确性和可靠性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图；

图1为本发明一个实施例所提供的轨道式机器人防卡死检测系统的实施环境示意图；

图2为本发明一个实施例所提供的相机拍摄区域示意图；

图3为本发明一个实施例所提供的一种基于人工智能的轨道式机器人防卡死检测系统的结构框图；

图4为本发明一个实施例所提供的一种基于人工智能的轨道式机器人防卡死检测方法流程图；

图5为本发明一个实施例所提供的光伏电池板边缘框检测方法流程图；

图6为本发明一个实施例所提供的缝隙宽度检测方法流程图；

图7为本发明一个实施例所提供的落差高度检测方法流程图；

图8为本发明一个实施例所提供的一种基于人工智能的轨道式机器人防卡死检测装置结构框图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于人工智能的轨道式机器人防卡死检测方法及装置，其具体实施方式、结构、特征及其功效，详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于人工智能的清洁机器人防卡死检测方法及其装置的具体方案。

请参阅图1，其示出了本发明一个实施例中轨道式机器人防卡死检测系统的实施环境示意图，包括：第一光伏电池板1、第二光伏电池板2、相机3、红外测距传感器4、缝隙5、落差高度6和轨道式清洁机器人的前进方向7。

轨道式清洁机器人以光伏电池板的边缘作为轨道行走，利用自身携带的相机3采集光伏电池板的局部图像，相机3的光轴垂直拍摄光伏电池板的表面图像。相机3分为前后两组，用于在轨道式清洁机器人前进和返航过程中及时检测缝隙宽度和落差高度。

请参阅图2，其示出了本发明一个实施例提供的相机拍摄区域示意图，包括：第一光伏电池板1、第二光伏电池板2、光伏电池板外部边缘框8、roi区域9和背景10。

设置光伏电池板的roi区域8能够减少计算量，排除相机3在成像过程中畸变产生的干扰信息。

请参阅图3和图4，图3示出了一种基于人工智能的轨道式机器人防卡死检测系统的结构框图，图4示出了一种基于人工智能的轨道式机器人防卡死检测方法流程图，该方法包括如下步骤：

步骤s401：获取光伏电池板roi区域的图像，该图像中包括光伏电池板的边缘图像。

步骤s402：将roi区域的图像输入语义分割网络模型，输出roi区域的分割结果图。

步骤s403：从分割结果图中获取光伏电池板边缘框的二值图像，，根据二值图像中的白色像素点判断第一光伏电池板的第一纵向边缘框并计算第一纵向边缘线的直线方程，在检测到与第一纵向边缘框垂直的边缘框时，判断边缘框为第一横向边缘框，根据第一横向边缘框判断第二光伏电池板的第二横向边缘框。

步骤s404：计算第一横向边缘框与第二横向边缘框之间的最大缝隙宽度，并与通过红外测距传感器得到的测量缝隙宽度求平均值得到缝隙宽度，当缝隙宽度大于缝隙阈值时，轨道式清洁机器人返航。

步骤s405：通过二值图像中第一光伏电池板的第一角点坐标和与第一角点坐标相邻的第二光伏电池板的第二角点坐标计算视觉落差高度，并与通过红外测距传感器得到的测量落差高度求平均值，得到落差高度，当落差高度大于高度阈值时，轨道式清洁机器人返航。

优选的，本实施例步骤s402中语义分割网络模型采用编码器-解码器(encoder-decoder)的网络结构，并采用交叉熵损失函数优化网络参数。

上述语义分割网络模型的训练过程如下：

对样本图像训练集中的目标进行标注，得到相应的标签。目标包括光伏电池板外部边缘框、光伏电池板内部区域和背景。

该样本图像数据集是光伏电池板roi区域图像的集合。

将样本图像和标签输入语义分割编码器中，语义分割编码器对其进行特征提取，得到特征图。

将得到的特征图输入语义分割解码器中，语义分割解码器对特征图进行上采样得到roi区域的分割结果图。该分割结果图包括光伏电池板外部边缘框、光伏电池板内部区域和背景三类。

优选的，请参阅图5，本实施例中步骤s403还包括如下具体步骤：

步骤s501：提取分割结果图中光伏电池板边缘框的像素信息，得到对应的二值图像，背景颜色为黑色，像素值为0，边缘框的像素为白色，像素值为1。

光伏电池板外部边缘框包括光伏电池板的横向边缘框和纵向边缘框，其宽度为固定比例关系，即：

m＝p/q

其中，m为横向边缘框和纵向边缘框的宽度比例关系，p为横向边缘框的宽度，q为纵向边缘框的宽度。m的值通常为1。

在roi区域的二值图像中建立如图2中所示的坐标系。

步骤s502：通过二值图像检测第一纵向边缘框，包括如下具体步骤。

第一步，计算每行白色像素点的中心位置，计算公式如下：

其中，x(j)为第j行像素中白色像素中心位置的横坐标。l为第j行共有l个白色像素，x(j，l)表示第j行第l个白色像素的横坐标。

第二步，判断各行中心白色像素点是否为线性关系，判断公式如下：

其中，h表示参与计算的行数。

当c的值不为1时，表示各行白色像素点并非线性关系，轨道式清洁机器人继续前进，直至c值为1。

当c的值为1时，表示各行白色像素点为线性关系，对应直线方程为：

y＝(x(j+1)-x(j))*x+x(1)

c的值为1，认为二值图像中只存在第一纵向边缘框。此时开始按照周期事件进行检测，周期事件如下：

随着轨道式清洁机器人在轨道上的移动，二值图像中的边缘框会呈现周期性变化，单个周期为：

(1)第一光伏电池板的第一纵向边缘框；

(2)第一光伏电池板的第一横向边缘框；

(3)第二光伏电池板的第二横向边缘框；

(4)第二光伏电池板的第二纵向边缘框。

步骤s503：采用边缘线相互垂直的特性检测第一横向边缘框。

根据第一纵向边缘线的直线方程求得其对应的垂线方程，垂线方程为：

y＝-1/(x(j+1)-x(j))*x+x(1)

随着轨道式机器人的前进，在检测到二值图像中垂线方程对应位置的像素值都为1时，则检测到第一横向边缘框。

步骤504：检测第二横向边缘框。

将第一纵向边缘框中每行白色像素点的数量相加再除以行数，得到第一纵向边缘框的宽度q，由横向边缘框和纵向边缘框的宽度比例关系m,计算第一横向边缘框的宽度p。

随着轨道式清洁机器人的前进，二值图像中的第一横向边缘线的位置与垂线方程所确定的直线位置发生相对位移，当在二值图像中直线方程y1所确定的位置上检测到白色像素点时，说明第一横向边缘框全部移出垂线方程所确定的位置。直线方程y1为：

再在垂线方程所确定的直线位置检测到白色像素点，若检测到垂线方程对应位置的像素值都为1，则检测到第二横向边缘框。

优选的，请参阅图6，本实施例中步骤s404包括如下步骤：

步骤s601：计算第一光伏电池板与第二光伏电池板之间的最大缝隙宽度。

获取最大缝隙处第二横向边缘框中白色像素点的最大纵坐标。记录最大纵坐标所对应的所有像素点中第一横向边缘框与第二横向边缘框之间黑色像素点的数量，将该黑色像素点的数量与二值图像中一个像素点在纵坐标方向代表的实际距离相乘，得到最大缝隙宽度。

步骤s602：通过红外测距传感器的数据计算测量缝隙宽度。

将红外测距传感器检测到第二光伏电池板的时间与检测到缝隙的时间进行作差，得到时间间隔，将时间间隔与轨道式清洁机器人的前进速度相乘，得到测量缝隙宽度。

步骤s603：求最大缝隙宽度和测量缝隙宽度的平均值，得到缝隙宽度。通过步骤s601得到的最大缝隙宽度与红外测距传感器得到的测量缝隙宽度相互补偿融合，不仅解决了红外测距传感器的测量误差问题，还提高了缝隙宽度测量的准确性和可靠性。

步骤s604：将缝隙宽度与预设的缝隙阈值进行比较，当缝隙宽度大于缝隙阈值时，轨道式清洁机器人难以越过该缝隙，执行返航操作。

优选的，请参阅图7，本实施例步骤s405包括如下具体步骤：

步骤s701:计算视觉落差高度。

当检测到第二横向边缘框时，二值图像中存在两个连通域。以轨道式清洁机器人前进的方向为前方，则二值图像中位于下方的连通域是第一光伏电池板，位于上方的连通域是第二光伏电池板。通过连通域分析获得连通域中各像素点的位置坐标。

通过第一光伏电池板的第一角点坐标的横坐标和与第一角点坐标对应的第二光伏电池板的第二角点坐标的横坐标作差得到差异像素数量。将差异像素数量与二值图像中一个像素点在横坐标方向代表的实际距离相乘，得到视觉落差高度。

第一角点坐标为第一光伏电池板中横坐标最小且纵坐标最大所对应的坐标，与第一角点坐标相邻的第二角点坐标为第二光伏电池板中横坐标最小且纵坐标最小所对应的坐标。

在其他实施例中，轨道式机器人返航时，第一角点坐标为第一光伏电池板中横坐标最大且纵坐标最大所对应的坐标，与第一角点坐标相邻的第二角点坐标为第二光伏电池板中横坐标最大且纵坐标最小所对应的坐标。

步骤s702：计算测量落差高度。

红外测距传感器在遇到缝隙之前测量的是到第一光伏电池板之间的距离，遇到缝隙之后测量的是到第二光伏电池板之间的距离。红外测距传感器在遇到缝隙时，测量的距离会突然增大，为了方便判断，设定距离阈值，使红外测距传感器测量的距离大于距离阈值时，都等于距离阈值。

将红外测距传感器测得的相邻时刻的距离进行作差，得到第一距离差值和第二距离差值，第一距离差值是红外测距传感器到第一光伏电池板的距离与距离阈值之间的差值，第二距离差值是红外测距传感器到第二光伏电池板的距离与距离阈值之间的差值。

将第一距离阈值与第二距离阈值作差，得到第一光伏电池板与第二光伏电池板之间的测量落差高度。

步骤s703：求视觉落差高度和测量落差高度的平均值，得到落差高度。通过步骤s701得到的视觉落差高度与红外测距传感器得到的测量落差高度相互补偿融合，不仅解决了红外测距传感器的测量误差问题，还提高了落差高度测量的准确性和可靠性。

步骤s704：将落差高度与预设的高度阈值进行比较，当落差高度大于高度阈值时，轨道式清洁机器人返航。

上述高度阈值设置为轨道式清洁机器人的轮子的宽度的一半。

综上所述，本发明实施例提供了一种基于人工智能的轨道式机器人防卡死检测方法，该方法通过将光伏电池板roi区域图像输入语义分割网络模型，得到分割结果图；通过分析光伏电池板边缘框的二值图像和红外测距传感器的数据，得到光伏电池板间的缝隙宽度和落差高度；当缝隙宽度和落差高度大于设定阈值时，轨道式清洁机器人返航。该方法解决了缝隙过大或落差高度过高导致机器人卡死和难以行进的问题，以及红外测距传感器测距不准确的问题，增加了判断结果的准确性和可靠性；设置光伏电池板的roi区域能够减少计算量，排除相机成像过程中畸变产生的干扰信息。

基于与上述方法相同的发明构思，本发明实施例中还提供一种基于人工智能的轨道式机器人防卡死检测装置。

请参阅图8，具体的，本发明实施例中提供了一种基于人工智能的轨道式机器人防卡死检测装置100，包括图像获取模块10，语义分割模块20，边缘框检测模块30，缝隙宽度判断模块40和落差高度判断模块50。

具体的，图像获取模块10用于获取光伏电池板roi区域的图像，所述roi区域的图像中包括所述光伏电池板的边缘图像；

语义分割模块20用于将所述roi区域的图像输入语义分割网络模型，输出所述roi区域的分割结果图，所述分割结果图包括光伏电池板外部边缘框、光伏电池板内部区域和背景；

边缘框检测模块30用于从所述分割结果图中获取所述光伏电池板边缘框的二值图像，根据二值图像中的白色像素点判断第一光伏电池板的第一纵向边缘框并计算第一纵向边缘线的直线方程，在检测到与第一纵向边缘框垂直的边缘框时，判断边缘框为第一横向边缘框，根据第一横向边缘框判断第二光伏电池板的第二横向边缘框；

缝隙宽度判断模块40用于计算所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙宽度，并与通过红外测距传感器得到的测量缝隙宽度求平均值得到缝隙宽度，当所述缝隙宽度大于缝隙阈值时，轨道式清洁机器人返航；

落差高度判断模块50用于通过所述二值图像中所述第一光伏电池板的第一角点坐标和与所述第一角点坐标相邻的所述第二光伏电池板的第二角点坐标计算视觉落差高度，并与通过所述红外测距传感器得到的测量落差高度求平均值，得到落差高度，当所述落差高度大于高度阈值时，所述轨道式清洁机器人返航。

边缘框检测模块30包括第一纵向边缘线判断模块，第一纵向边缘线判断模块包括：

中心位置计算单元，用于计算每行白色像素点的中心位置；

线性判断单元，用于根据所述中心位置，判断各行所述白色像素点是否为线性关系；以及

方程计算单元，用于在判断结果为线性关系时，计算所述第一纵向边缘线的直线方程。

缝隙宽度判断模块40包括最大缝隙宽度模块，最大缝隙宽度模块包括：

黑色像素点数量获取模块，用于检测所述第一横向边缘框与所述第二横向边缘框之间的最大缝隙，获取所述最大缝隙所对应的黑色像素点的数量；以及

最大缝隙宽度计算模块，用于根据所述黑色像素点的数量，计算所述最大缝隙宽度。

综上所述，本发明实施例提供了一种基于人工智能的轨道式机器人防卡死检测装置，该装置通过图像获取模块获取roi区域图像；通过语义分割模块对roi区域图像进行分割，得到分割结果图；通过边缘框检测模块检测第一纵向边缘框、第一横向边缘框和第二横向边缘框；通过缝隙宽度判断模块计算相邻两块光伏电池板间的缝隙宽度，并与缝隙阈值比较判断轨道式清洁机器人是否返航；通过落差高度判断模块计算落差高度，并与高度阈值比较判断轨道式清洁机器人是否返航。该装置解决了缝隙过大或落差高度过高导致轨道式清洁机器人卡死和难以行进的问题，以及红外测距传感器测距不准确的问题，增加了判断结果的准确性和可靠性，增加了装置的鲁棒性和泛化能力。

需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除