一种基于5G网络的智能购物机器人控制方法及系统与流程

2021-01-19 16:01:34|

322|

起点商标网

本发明涉及购物机器人技术领域，尤其涉及一种基于5g网络的智能购物机器人控制方法及系统。

背景技术：

如今的购物方式有实体购物和网络购物这两种方式，网络购物虽然方便。但缺少现场购物体验；实体购物虽然现场体验感很好，但容易造成疲劳，尤其在天气不佳或路程较远的情况下，也会造成购物不便。

5g网络时代的到来，大大增加了网络带宽、提高了数据传输的速度，从而可满足超高可靠性、超低时延的超高清视频传输；基于虚拟现实(virtualreality，vr)、增强现实(augmentedreality，ar)等的大流量应用设备也已落地实现，其中，基于5g网络的vr眼镜势必能提供良好体感。

因此，基于5g网络技术，需要一种能够替代传统购物方式的解决方案，以满足购物的便利性和现场体验感。

技术实现要素：

为解决上述问题，本发明提供一种基于5g网络的智能购物机器人控制方法及系统，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。

为了实现上述目的，本发明提供以下技术方案：

一种基于5g网络的智能购物机器人控制方法，所述方法应用于控制系统，所述控制系统用于控制智能购物机器人，所述方法包括以下步骤：

步骤s100、操控平台与控制系统通过5g无线网络建立通信连接，操控平台获取控制系统的操作权限；

步骤s200、控制系统查询机器人的初始信息，并将所述初始信息回传给操控平台，所述初始信息包括机器人的初始位置；

步骤s300、操控平台获取到用户选取的目的位置后，根据初始位置和目的位置生成全局路径，并将所述全局路径显示在第一地图上，所述第一地图为购物场所的平面地图；

步骤s400、控制系统接收到操控平台下发的自动行驶指令后，控制机器人按所述全局路径自动行驶，在机器人行驶过程中，控制系统采集实时信息，并将所述实时信息回传给操控平台，所述实时信息包括控制系统实时采集的实时位置和实时环境图像；

步骤s500、机器人行驶到目的位置后，操控平台向控制系统下发操控指令，控制系统根据所述操控指令控制机器人将用户选取的商品装载到物品存储装置中；

步骤s600、控制系统接收到操控平台下发的结束购物指令时，控制系统将所述物品存储装置内的商品生成商品清单，并将所述商品清单上报给操控平台。

进一步，所述操控平台包括vr眼镜，所述将所述全局路径显示在第一地图上，包括：

通过所述vr眼镜显示购物场所的平面地图，以第一色标在所述平面地图中显示所述初始位置，以第二色标在所述平面地图中显示机器人的目的位置，以第三色标在所述平面地图中显示机器人的实时位置，以第一色带在所述平面地图中显示机器人的剩余行驶距离。

进一步，所述操控平台包括体感游戏手柄，所述初始信息还包括机器人的初始环境图像，所述步骤s200还包括：

通过vr眼镜查看所述初始环境图像，确认机器人所处环境正常后，允许控制系统控制机器人开启自动行驶；

若判断机器人所处环境异常，则通过体感游戏手柄向控制系统下发操控指令，以使控制系统根据该操控指令实时控制机器人的行驶。

进一步，所述控制系统包括控制器，所述方法还包括：

控制器采用畸变校正算法消除实时环境图像的畸变，对消除畸变后的实时环境图像进行三维建模，得到三维图像，并将所述三维图像发送给vr眼镜；

所述vr眼镜将所述三维图像和实时位置同步显示在第二地图，所述第二地图为三维地图。

进一步，所述控制系统还包括与所述控制器连接的双目摄像头，所述方法还包括：

双目摄像头拍摄商品图像；

控制器从所述商品图像中捕获图像特征，将图像特征与商品数据库进行对比，将配对得到的商品信息发送给vr眼镜进行显示。

进一步，所述方法还包括：

控制器基于机器视觉技术，对商品图像进行边缘检测，将商品图像划分为多个图像区域；

对同一图像区域进行纹理特征检测，将区别于邻域纹理的像素点进行标记显示。

进一步，所述控制系统还包括红外传感器，所述红外传感器与所述控制器连接，所述物品存储装置为立方体容纳槽，在物品存储装置的顶部相对两端安装有红外传感器，两端的红外传感器同时检测对端发射的红外光，所述方法还包括：

当一端的红外传感器发射的激光被另一端的红外传感器被检测到时，则控制器判定所述物品存储装置有空余，当一端的红外传感器发射的激光被另一端的红外传感器没有被检测到时，则控制器判定所述物品存储装置已装满，并向操控平台上报警告，提醒所述物品存储装置已装满。

一种基于5g网络的智能购物机器人控制系统，所述控制系统通过5g无线网络与操控平台通信连接，所述控制系统包括相互连接的定位导航装置和控制器；

所述操控平台，用于获取到用户选取的目的位置后，根据初始位置和目的位置生成全局路径，并将所述全局路径显示在第一地图上，所述第一地图为购物场所的平面地图；

以及用于在机器人行驶到目的位置后，向控制系统下发操控指令；

所述定位导航装置，用于查询机器人的初始信息，并将所述初始信息回传给操控平台，所述初始信息包括机器人的初始位置；

以及用于在接收到操控平台下发的自动行驶指令后，控制机器人按所述全局路径自动行驶，在机器人行驶过程中，采集实时信息，并将所述实时信息回传给操控平台，所述实时信息包括控制系统实时采集的实时位置和实时环境图像；

所述控制器，用于根据所述操控平台发送的操控指令控制机器人将用户选取的商品装载到物品存储装置中；并实时判断物品存储装置是否已装满，当所述物品存储装置已装满时，向操控平台上报警告，提醒所述物品存储装置已装满；

以及用于接收到操控平台下发的结束购物指令时，控制系统将所述物品存储装置内的商品生成商品清单，并将所述商品清单上报给操控平台。

本发明的有益效果是：本发明公开一种基于5g网络的智能购物机器人控制方法及系统，通过操控平台根据用户选取的目的位置和控制系统发送的初始信息生成全局路径，控制系统控制机器人按全局路径自动行驶，避免了用户寻找目标商品时可能造成的无效劳动，以及省去了用户在购物场所长时间行走导致了疲劳；通过将实时信息回传给操控平台，便于用户实时了解机器人的现场状况，提升了用户的现场体验感；机器人行驶到目的位置后，控制系统控制机器人将用户选取的商品装载到物品存储装置中，省去了用户放置商品以及拖行商品的人力；当控制系统判断物品存储装置已装满时，向操控平台上报警告，提醒物品存储装置已装满；结束购物时，控制系统将物品存储装置内的商品生成商品清单，并将商品清单上报给操控平台，给用户提供了良好的交易体验；综上所述，本发明能够满足购物的便利性和现场体验感。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中基于5g网络的智能购物机器人控制方法的流程示意图；

图2是本发明实施例中基于5g网络的智能购物机器人控制系统的结构示意图。

具体实施方式

以下将结合实施例和附图对本发明公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

参考图1，本发明实施例提供一种基于5g网络的智能购物机器人控制方法，所述方法应用于控制系统，所述控制系统用于控制智能购物机器人，所述方法包括以下步骤：

步骤s100、操控平台与控制系统通过5g无线网络建立通信连接，操控平台获取控制系统的操作权限；

可以理解，操控平台与控制系统之间采用的通信模块为5g通信模块，采用传输层tcp控制协议进行通信连接。

步骤s200、控制系统查询机器人的初始信息，并将所述初始信息回传给操控平台，所述初始信息包括机器人的初始位置；

在一实施例中，操控平台获取到控制系统的操作权限后，操控平台向控制系统发送初始化信号，控制系统根据所述初始化信号进行控制程序初始化，查询机器人的初始信息，并将所述初始信息回传给操控平台；

步骤s300、操控平台获取到用户选取的目的位置后，根据初始位置和目的位置生成全局路径，并将所述全局路径显示在第一地图上；

其中，所述第一地图为购物场所的平面地图；具体地，所述第一地图为预先存储的购物场所的平面地图，或者为通过网络实时获取的购物场所的平面地图。

在一实施例中，操控平台生成全局路径后，将所述全局路径发送给控制系统；

步骤s400、控制系统接收到操控平台下发的自动行驶指令后，控制机器人按所述全局路径自动行驶，在机器人行驶过程中，控制系统采集实时信息，并将所述实时信息回传给操控平台；

其中，所述实时信息包括控制系统实时采集的实时位置和实时环境图像；

在一实施例中，经三维建模技术处理后的实时信息以三维地图的形式显示在vr眼镜上。在vr图像信息上加上ar信息，

在一实施例中，通过unity3d引擎实现人眼的双目视觉模拟效果，机器人的摄像头由体感游戏手柄上的摇杆控制，摄像头的视角随摇杆的摆动方向变化而变化，实时图像通过三维建模技术，结合畸变算法显示于vr眼镜上。在虚拟现实中加载增强现实技术实现导航信息可视化，该技术可将实时图像的原始信息保存下来。

本实施例中，用户基于虚拟现实(vr)对机器人进行远程操控，操控平台包括体感游戏手柄和vr眼镜，通过感知体感游戏手柄触发的操作命令来控制机器人移动，vr眼镜用于感知机器人环境。

在一实施例中，通过同步机器人语音输出/输入实现商品咨询与购买，通过物品存储装置启动装载商品给到用户手上。

步骤s600、控制系统接收到操控平台下发的结束购物指令时，控制系统将所述物品存储装置内的商品生成商品清单，并将所述商品清单上报给操控平台。

现有的机器人大多从事单一的流水线工作，比如扫地，擦玻璃，送餐等，与人交互无法满足用户的更多需求。本发明通过将其进行智能化改造，在操控平台和控制系统的高效通信下，能够替代传统购物方式的解决方案，满足了购物的便利性和现场体验感。

在一个优选的实施例中，所述操控平台包括vr眼镜，所述将所述全局路径显示在第一地图上，包括：

在一实施例中，机器人的初始位置在平面地图上以黄点表示，机器人的目的位置在平面地图上以红点表示，机器人的实时位置在平面地图上以绿点表示，机器人的剩余行驶距离在平面地图上以蓝线显示，所述平面地图还显示有预计到达时间和机器人的电池电量条，所述预计到达时间根据剩余距离和机器人的行驶速率确定，所述剩余行驶距离为机器人到目的位置的距离，所述电池电量条用于表示机器人的剩余电量。

在一个优选的实施例中，所述操控平台包括体感游戏手柄，所述初始信息还包括机器人的初始环境图像，所述步骤s200还包括：

通过vr眼镜查看所述初始环境图像，确认机器人所处环境正常后，允许控制系统控制机器人开启自动行驶；

若判断机器人所处环境异常，则通过体感游戏手柄向控制系统下发操控指令，以使控制系统根据该操控指令实时控制机器人的行驶。

在一个优选的实施例中，所述方法还包括：

控制器采用畸变校正算法消除实时环境图像的畸变，对消除畸变后的实时环境图像进行三维建模，得到三维图像，并将所述三维图像发送给vr眼镜；

所述vr眼镜将所述三维图像和实时位置同步显示在第二地图，所述第二地图为三维地图。

在一个优选的实施例中，所述控制系统还包括与所述控制器连接的双目摄像头，所述方法还包括：

双目摄像头拍摄商品图像；

控制器从所述商品图像中捕获图像特征，将图像特征与商品数据库进行对比，将配对得到的商品信息发送给vr眼镜进行显示。

需要说明的是，上文所述的实时环境图像和初始环境图像均通过与所述控制器连接的双目摄像头拍摄得到。

在一实施例中，控制系统在执行操控指令时，通过双目摄像头拍摄商品图像，将特征与网络数据检索库或预先存储的商品数据库进行对比，配对检索商品，在购买过程中，用户碰到不熟悉的商品，可点击商品信息，通过vr眼镜显示商品信息，所述商品信息包括：名称、功效和使用方法。

在一个优选的实施例中，所述方法还包括：

控制器基于机器视觉技术，对商品图像进行边缘检测，将商品图像划分为多个图像区域；

对同一图像区域进行纹理特征检测，将区别于邻域纹理的像素点进行标记显示。

本实施例中，通过实时检测和识别被测商品的表面缺陷，将商品的表面缺陷进行显著标识，便于用户快速了解商品是否破损，以及破损区域。

在一实施例中，机器人每抓取一件物品，机械手臂进行三维旋转，通过相机放大倍数拍摄，实现物品的放大观察，给予智能终端检查物品是否存在破损。

考虑存在因拍摄光线导致的物品破损不容易察觉问题，本发明机器人提供物品破损检测功能。本发明基于机器视觉技术，实时检测和识别被测商品常见的表面缺陷(如孔洞、破损、边缘裂缝、刮痕、边缘破损等)。表面缺陷检测基于图像纹理和边缘这两特征进行判断，本发明首先对商品进行边缘检测划分区域，在同一区域中进行纹理特征检测，区别于邻域的像素点纹理，以红色圆圈标记显示。

本发明的控制系统基于plc编程控制，程序采用客户端/服务器模式，机器人端到用户端的远程控制技术基于5g无线通信技术，端到端连接采用mec(mobileedgecomputing，移动边缘计算)技术，

本实施例提供的技术方案，将服务器尽量下沉，部署在无线网络的边缘。这样终端与服务器只需要一次跳频即可实现交互通信，从而能大幅压缩端到端的时延。本发明采用无线技术、qos设置、移动边缘计算等技术之后，5g网络中端到端的时延可控制在数毫秒内，仅为4g网络的五分之一。

本发明提供的实施例中，通过5g网络超低时延特性，可以使vr技术中的位置跟踪、网络传输、图像处理、屏幕刷新时延降低，从而大大减少时延带来的晕眩感。5g网络高速率特征实现了高清视频的实时传输，使视频画面更清晰，远端或云端查看图像信息无卡顿。

在一个优选的实施例中，所述控制系统还包括定位导航装置，所述方法还包括：

当机器人处于室外时，定位导航装置采用伪距差分动态定位法，采用基准接收机和动态接收机检测4颗gps卫星发送的gps定位坐标，得到4个gps定位坐标，根据4个gps定位坐标求出机器人的初始位置和实时位置，所述机器人的初始位置和实时位置均为三维位置坐标；

当机器人处于室内时，定位导航装置采用超宽带(ultrawideband，uwb)室内定位技术确定机器人的初始位置和实时位置。

具体地，定位导航装置首先向部署在室内的5g定位基站发送测距请求，5g定位基站对收到的测距请求进行处理，经过一小段的间隔时间后向所述定位导航装置回复确认信息，分别记录uwb信号发送和接收的时间间隔，将定位导航装置发出测距请求和接收确认信息的时间间隔记为t1，5g定位基站收到测距请求和发出确认信息的时间间隔记为t2，那么uwb信号在空中的单向飞行时间t3可以计算为：t3＝(t1-t2)/2；然后根据t3与电磁波传播速度的乘积便可算出所述定位导航装置到5g定位基站之间的距离：d＝c×t3；接着根据所述定位导航装置到多个5g定位基站的距离，分别以各个所述5g定位基站为中心画圆，就可以得到一个交点，交点就是机器人的位置，从而求出机器人的初始位置和实时位置，所述机器人的初始位置和实时位置均为三维位置坐标。

在一实施例中，机器人拥有gps传感器，还辅以磁罗盘、光码盘和gps的数据进行导航。

本发明机器人定位技术拥有自主导航功能，采用伪距差分动态定位法，采用基准接收机和动态接收机共同观测4颗gps卫星，按照一定的算法即可求出某时某刻机器人的三维位置坐标。

存储放置方式：在食材放置过程中，由于商品存储空间有限，在食材量多的情况下必然存在堆叠现象。为了不压损食材，本发明设定商品存放原则。购置食材大致可以分为以下几大类：蔬菜类、肉类、调料类、面食类、蛋类、谷类。因此，存放箱体中划分存放区间，分别为瓶装区、鸡蛋区、堆放区。放置原则为：蛋类及瓶装类食物各单独放置于相应区域，谷类放置于堆放区的最底层。机器人通过用户端的操控平台给予的信息或机器人本身的商品识别功能实现食材的归类以及食材的自动放置。商品识别方法基于形状检测原理，以商品形状为模型利用极大似然法推理进行分类至上述各个类别的存放区间中。

在一个优选的实施例中，所述控制系统还包括红外传感器，所述红外传感器与所述控制器连接，所述物品存储装置为立方体容纳槽，在物品存储装置的顶部相对两端安装有红外传感器，两端的红外传感器同时检测对端发射的红外光，所述方法还包括：

参考图2，本发明实施例还提供一种基于5g网络的智能购物机器人控制系统，所述控制系统通过5g无线网络与操控平台通信连接，所述控制系统包括相互连接的定位导航装置和控制器；

以及用于在机器人行驶到目的位置后，向控制系统下发操控指令；

所述定位导航装置，用于查询机器人的初始信息，并将所述初始信息回传给操控平台，所述初始信息包括机器人的初始位置；

以及用于接收到操控平台下发的结束购物指令时，控制系统将所述物品存储装置内的商品生成商品清单，并将所述商品清单上报给操控平台。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。