扫地机器人及其三维场景的构建方法、系统及可读存储介质与流程

本申请涉及机器人技术领域，尤其涉及一种扫地机器人及其三维场景的构建方法、系统及可读存储介质。

背景技术：

随着计算机技术的发展，各种智能设备进入了人们的日常生活。例如，扫地机器人。

现有技术中对扫地机器人实现控制需获取该扫地机器人前行过程中的场景信息，利用三维重建的方法可实现场景信息的获取。但是在三维重建的过程中，处理器需要执行获取图像帧、数据分析、控制行进方向等多项工作任务，若不能协调各项工作，则会出现三维场景重建的过程中发生硬件资源堵塞的现象，导致无法正常执行三维重建工作。

技术实现要素：

本申请实施例通过提供一种扫地机器人的三维场景的构建方法、扫地机器人、系统和计算机可读存储介质，旨在解决扫地机器人在执行清扫任务时由于设备资源不足、重建中发生异常，场景的重建过程无法单次完成的技术问题。

为实现上述目的，本申请一方面提供一种扫地机器人资源配置方法，包括：

在扫地机器人执行清扫任务时，采集清扫过程中的图像数据；

获取处理器当前的占用信息；

对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景，所述处理包括分析处理、数据融合处理以及表面生成处理。

可选地，所述占用信息可划分为第一等级、第二等级、第三等级以及第四等级，所述对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景的步骤，包括：

当所述资源处理器当前占用信息为第一等级时，丢弃所述图像数据；

当所述资源处理器当前占用信息为第二等级时，则对所述图像数据进行数据分析处理，标记已进行分析处理的图像数据为第一图像数据；

当所述资源处理器当前占用信息为第三等级时，则对所述图像数据执行数据分析处理以及数据融合处理，标记经过数据分析处理以及数据融合处理的图像数据为第二图像数据，以及对所述第一图像数据执行数据融合处理，标记为第二图像数据；

当所述资源处理器当前占用信息为第四等级时，则对所述第二图像数据执行表面生成处理。

可选地，所述图像数据进行数据分析处理的步骤，包括：

剔除所述图像数据中图像质量低于预设图像质量要求的图像数据。

可选地，所述剔除所述图像数据中图像质量低于预设图像质量要求的图像数的步骤之前，包括：

当剔除的所述图像数据的值大于预设值时，获取传感器数据记录的清扫区域的数据作为剔除的所述图像数据的补充。

可选地，其特征在于，所述剔除所述图像数据中图像质量低于预设图像质量要求的图像数的步骤之前，包括：

按照采集所述图像数据的时间顺序对所述图像数据进行排序。

可选地，所述获取扫地机器人在执行清扫任务时采集的图像数据的步骤之后，包括：

判断在执行清扫任务的过程中是否发生中断；

若发生中断则获取记忆地图，获取所述记忆地图中的中断位置，以所述中断位置为起点，执行清扫任务。

可选地，所述获取资源处理器当前的状态信息的步骤，包括：

获取所述处理器的利用率；

根据所述利用率确定所述处理器当前的占用信息。

为实现上述实施例，本申请还提供一种扫地机器人，所述扫地机器人包括：

采集模块，用于在扫地机器人执行清扫任务时，采集清扫过程中的图像数据；

获取模块，用于获取处理器当前的占用信息；

执行模块，用于对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景，所述处理包括分析处理、数据融合处理以及表面生成处理。

为实现上述实施例，本申请还提供一种扫地机器人的三维场景的构建系统，所述三维场景的构建系统包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的扫地机器人的三维场景的构建的控制程序，所述扫地机器人的三维场景的构建程序被所述处理器执行时实现如上中任一项扫地机器人的三维场景的构建方法的步骤。

为实现上述实施例，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有扫地机器人的三维场景的构建程序，所述扫地机器人的三维场景的构建程序被处理器执行时实现如上中任一项扫地机器人的三维场景的构建方法的步骤。

本实施例中，在扫地机器人执行清扫任务时，采集清扫过程中的图像数据，以及获取处理器当前的占用信息，通过获取处理器当前的占用信息分析对采集的图像数据所需执行的具体处理，以实现在处理图像数据时与处理器当前的占用信息对应，得到所述扫地机器人执行清扫任务时清扫区域的三维场景。通过将在执行清扫任务过程中采集的图像数据所执行的处理操作与当前处理器的占用信息匹配，避免处理器由于同时进行多项处理任务发生卡顿的现象，提高了扫地机器人在重建清扫区域的三维场景时获取的图像数据的实时性。

附图说明

图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本申请扫地机器人的三维场景的构建方法一实施例的流程示意图；

图3为本申请扫地机器人的三维场景的构建方法又一实施例的流程示意图；

图4为本申请扫地机器人的三维场景的构建方法的功能模块的示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请实施例的主要解决方案是：在扫地机器人执行清扫任务时，采集清扫过程中的图像数据；获取处理器当前的占用信息，根据所述占用信息对所述图像数据执行与所述占用信息对应的处理操作，所述处理操作包括分析处理、数据融合处理以及表面生成处理；根据处理结果得到所述扫地机器人执行清扫任务时清扫区域的三维场景。

由于现有技术中建立机器人清扫区域的三维场景时需要对记录已执行清洁任务的位置，避免重复清洁。在扫地机器人建立清洁位置的执行三维场景的构建得到已清洁区域的三维场景时，对数据处理实时性要求较高，并且前后两帧图像数据在时间和空间上，对连续性要求也较高。在重建过程中要求处理器有较高的处理能力，以及时处理获取的图像数据。

如图1所示，图1为本申请实施例方案涉及的硬件运行环境的终端结构示意图。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、rf(radiofrequency，射频)电路，传感器、遥控器、音频电路、wifi模块、检测器等等。当然，终端还可配置陀螺仪、气压计、湿度计、温度传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及家电设备的控制程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的家电设备的控制程序，并执行以下操作：

在扫地机器人执行清扫任务时，采集清扫过程中的图像数据；

获取处理器当前的占用信息；

对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景，所述处理包括分析处理、数据融合处理以及表面生成处理。

参考图2，图2为本申请扫地机器人资源配置方法第一实施例的流程示意图。

本申请实施例提供了扫地机器人资源配置方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

扫地机器人资源配置方法包括：

步骤s10，在扫地机器人执行清扫任务时，采集清扫过程中的图像数据；

所述清扫任务为用户通过与扫地机器人建立连接的终端设备所发出，或者用户通过直接控制扫地机器人装置上的控制键发出，亦可以扫地机器人通过读取到当前的系统时间达到存储于存储器中定时清扫的时间时自动启动执行清扫任务。在扫地机器人接收到清扫任务时，则启动清扫装置执行清扫任务。其中，扫地机器人在接收到清洁任务时，根据接收到的清扫任务对需要清扫的区域规划好执行清扫任务的路径，按照路径完成清扫任务。

所述图像数据为扫地机器人在清扫过程中获取清扫区域的图像信息。在扫地机器人按照规划的路径执行清扫任务的过程中，控制深度相机采集在清扫过程中的图像数据。其中，所述深度相机的安装位置可位于扫地机器人前进方向的一面，以不断地获取扫地机器人按照规划好的路径执行清扫任务时的的图像数据。

步骤s20，获取处理器当前的占用信息；

所述占用信息为扫地机器人在执行清扫任务的过程中处理器处理各项任务时的占用率的大小，并将其划分为不同等级。在扫地机器人执行清扫任务的过程中，处理器启动不同的线程，同时控制扫地机器人完成在清扫任务过程中的各种操作。例如，处理器启动第一线程读取执行清扫任务时规划好的路径，控制扫地机器人按照规划好的路径进行清扫；同时扫地机器人还需启动第二线程控制深度相机采集在执行清扫任务过程中的图像数据，以及启动第三线程对采集到的图像数据进行分析、存储等操作。可理解的是每一线程的执行都需要占用处理器的资源，当启动过多的线程时则会影响处理器的正常执行。

所述获取资源处理器当前的状态信息的步骤，包括：

步骤s21，获取所述处理器的利用率；

步骤s22，根据所述利用率确定所述处理器当前的占用信息。

在本实施例中可根据编程获取处理器当前的利用率，例如，通过api函数：getsystemtimes获取当前处理器的利用率。进一步地确定处理器的占用信息。例如，当所述处理器的占用信息划分为十等级时，按照利用率将其均匀划分。当通过getsystemtimes获取当前处理器的利用率为55％时，则确认处理器当前的占用信息为第六等级。在处理器达到预设的占用信息时则需要对处理器需要处理的任务进行控制。

步骤s30，对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景，所述处理包括分析处理、数据融合处理以及表面生成处理。

在获取到扫地机器人的图像数据后，需要对获取到的图像数据进行处理。所述处理包括分析处理、数据融合处理以及表面生成处理。其中所述分析处理为将获取到的图像数据进行分析，过滤图像内容相似度较高的图像数据，以及在采集过程中由于受到光线、镜头遮挡等造成图像内容模糊的图像数据。数据融合处理即为将经过分析处理的图像数据进行连接，形成扫地机器人在执行清扫任务过程中的各个清扫位置的场景信息。表面生成处理即为根据各个场景信息生成机器人执行清洁任务时清洁区域的清洁地图。

本实施例中，在扫地机器人执行清扫任务时，采集清扫过程中的图像数据，以及获取处理器当前的占用信息，通过获取处理器当前的占用信息分析对采集的图像数据所需执行的具体处理，以实现在处理图像数据时与处理器当前的占用信息对应，得到所述扫地机器人执行清扫任务时清扫区域的三维场景。通过将在执行清扫任务过程中采集的图像数据所执行的处理操作与当前处理器的占用信息匹配，避免处理器由于同时进行多项处理任务发生卡顿的现象，提高了扫地机器人在重建清扫区域的三维场景时获取的图像数据的实时性。

进一步地，参考上一实施例，提出本申请扫地机器人资源配置方法又一实施例。

本实施例与上一实施例的区别在于，所述占用信息可划分为第一等级、第二等级、第三等级以及第四等级，所述对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景的步骤，包括：

步骤s31，当所述资源处理器当前占用信息为第一等级时，丢弃所述图像数据；

步骤s32，当所述资源处理器当前占用信息为第二等级时，则对所述图像数据进行数据分析处理，标记已进行分析处理的图像数据为第一图像数据；

步骤s33，当所述资源处理器当前占用信息为第三等级时，则对所述图像数据执行数据分析处理以及数据融合处理，标记经过数据分析处理以及数据融合处理的图像数据为第二图像数据，以及对所述第一图像数据执行数据融合处理，标记为第二图像数据；

步骤s34，当所述资源处理器当前占用信息为第四等级时，则对所述第二图像数据执行表面生成处理。

在本实施中，处理器的占用信息为第一等级时，代表当前处理器的占用率最高，此时扫地机器人同时处理多项任务，例如同时执行拖地功能、放芳香剂，或是光触媒杀菌。处理器无法将采集到的图像数据执行分析处理，若将未经过分析处理的图像数据直接进行存储，会存在将图像过曝、镜头遮挡的图像数据，则可能加重处理器的负荷，所以对在处理器的占用信息为第一等级时获取到的图像数据执行丢弃操作。

当所述资源处理器当前占用信息为第二等级时，此时处理器的还存在处理对图像数据进行分析处理的资源，则对所述图像数据进行分析处理，并在完成分析处理后标记已进行分析处理的图像数据为第一图像数据，以供在处理器存在更多的资源时对已经经过分析处理的第一图像数据直接进行下一阶段的处理。

当所述资源处理器当前占用信息为第三等级时，说明在扫地机器人执行清扫任务过程中处理器还有空闲的资源，则直接对当前采集到的图像数据执行数据分析处理以及数据融合处理，标记经过数据分析处理以及数据融合处理的图像数据为第二图像数据，并对所述第一图像数据执行数据融合处理，标记为第二图像数据。

当所述资源处理器当前占用信息为第四等级时，则对所述第二图像数据以及所述第二图像数据执行表面生成处理。当资源处理器的占用信息为第四等级时，说明此时扫地机器人已停止扫地任务，因此具有大量可以占用的资源，则直接对标记第二图像数据的图像执行表面生成处理，即对二维图像的第二图像数据生成扫地机器人在执行清洁任务时的三维场景，实现了对扫地机器人清扫区域的三维场景的构建。

所述对所述图像数据进行数据分析处理的步骤，包括：

步骤s321，剔除所述图像数据中图像质量低于预设图像质量要求的图像数据。

衡量图像质量的参数包括图像的清晰度、分辨率、色深等参数。在本实施例中所述预设图像质量要求可包括清晰度、分辨率、色深中的一个或多个。可以理解的是，由于光线、扫地机器人移动等原因会造成采集的图像数据模糊。此时，需要对模糊的图像数据执行剔除操作，避免模糊的图像数据影响后续的处理操作，降低构建的三维场景的准确性。

所述剔除所述图像数据中低于预设图像质量要求的图像数据，形成进行图像分析的图像数据的步骤之前，包括：

按照采集所述图像数据的时间顺序对所述图像数据进行排序。

在剔除所述不满足要求的图像数据前，按照采集图像数据的时间顺序对图像数据进行排序，形成进行图像分析的图像数据。

所述剔除所述图像数据中低于预设图像质量要求的图像数据，形成进行图像分析的图像数据的步骤之后，包括：

步骤s322，当剔除的所述图像数据的值大于预设值时，获取传感器数据记录的清扫区域的数据作为剔除的所述图像数据的补充。

在本实施例中，当剔除的图像数据的值大于预设值时，则表明在扫地机器人执行清扫任务过程中存在执行清扫区域的图像数据不存在于用于构建三维场景的图像数据中，导致构建的三维场景与实际清扫区域存在偏差。则获取内置于扫地机器人中的传感器数据(车载传感器数据)记录的清扫区域的数据作为剔除的图像数据的补充。其补充的过程为获取车载传感器中记录的扫地机器人在执行清洁任务过程中的位姿、移动速度等数据，通过计算、分析得到数据传感器中记录的扫地机器人在执行清扫任务过程中的位移信息。获取剔除的图像数据的值大于预设值时图像数据的时间，在执行表面生成任务时将该时间的位移信息补充至三维场景中。

在本实施例中，能够在剔除大量的、连续的图像数据时，能够根据车载传感器中获取的数据信息对所述图像数据进行补充，避免缺失大量图像数据时执行表面生成处理后获得的清扫区域的三维场景不准确的问题。

进一步地，参考图3，提出本申请扫地机器人资源配置方法另一实施例。

所述实施例与上一实施例的区别在于，所述获取扫地机器人在执行清扫任务时采集的图像数据的步骤之后，包括：

步骤s40，判断在执行清扫任务的过程中是否发生中断；

步骤s50，若发生中断则获取三维场景，获取所述三维场景中的中断位置，以所述中断位置为起点，执行清扫任务。

在扫地机器人执行清扫任务的过程中，判断是否发生中断，若发生中断，发生中断的原因可能为到扫地机器人电源耗尽、或者遇到障碍物，则获取存储于存储器中的的三维场景，根据三维场景得到扫地机器人在中断清扫任务时的清扫位置，则设置该清扫位置为扫地机器人当前执行清扫任务的起点。

在本实施例中，在扫地机器人执行任务的过程中发生中断时能够根据存储的三维场景获取发生终端的位置，并以该终端位置为起点执行清扫任务，避免扫地机器人对已执行清扫任务的区域重复进行清扫，提高了扫地机器人清扫的效率。

为实现上述实施例，本申请还提供一种扫地机器人，所述扫地机器人包括：

采集模块10，用于在扫地机器人执行清扫任务时，采集清扫过程中的图像数据

获取模块20，用于获取处理器当前的占用信息；

执行模块30，用于对所述图像数据执行与所述占用信息对应的处理操作，得到所述扫地机器人执行清扫任务时清扫区域的三维场景，所述处理包括分析处理、数据融合处理以及表面生成处理。

为实现上述实施例，本申请还提供一种扫地机器人的三维场景的构建系统，所述三维场景的构建系统包括处理器、存储器以及存储在所述存储器上并可在所述处理器上运行的扫地机器人的三维场景的构建的控制程序，所述扫地机器人的三维场景的构建程序被所述处理器执行时实现如上中任一项扫地机器人的三维场景的构建方法的步骤。

为实现上述实施例，本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有扫地机器人的三维场景的构建程序，所述扫地机器人的三维场景的构建程序被处理器执行时实现如上中任一项扫地机器人的三维场景的构建方法的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的可选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括可选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除