一种多功能导盲杖的制作方法

本发明涉及集成电路领域，尤其涉及一种多功能导盲杖。

背景技术：

目前市面上的导盲杖以传统导盲杖为主，然而，传统导盲杖仅仅支持用户通过敲打的方式来规避障碍，导盲杖仅仅具有避障功能，功能单一。此外，少量的智能导盲杖还具备避障和警报功能，当用户使用智能导盲杖时，可以借助智能导盲杖获取障碍物的距离信息，若出现距离过近的障碍物，用户能够获取相关的警报信息。但是，用户无法在不经肢体接触的情况下判别前方障碍物的种类，因此，现有的智能导盲杖只能实现简单的避障和警报功能，但仍然不能完全满足盲人对于获取更多周围环境信息的需求。

技术实现要素：

本发明提供了一种多功能导盲杖，以解决现有的导盲杖功能单一，只能通过敲打障碍物来规避障碍，无法让用户远距离地开始规避障碍的缺陷，这些缺陷导致用户在使用过程中安全性较低这一问题。同时，本发明提供的目标检测功能可以让导盲杖用户获取更多的周围环境信息，给用户提供了更为人性化的使用体验，同时可以让用户提前做好行动判断。

本发明提供的一种多功能导盲杖，包括：

信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；

所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；

所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；

语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。

进一步地，在一种实现方式中，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；

所述目标检测算法模型选用ssd算法，所述ssd算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用mobilenet网络，通过所述mobilenet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用intel的神经元计算棒。

进一步地，在一种实现方式中，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；

所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；

所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；

其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；

所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。

进一步地，在一种实现方式中，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：

深度卷积，根据第一卷积核大小dk×dk×1×m，获得第一计算量为：

dk×dk×m×df×df

逐点卷积，根据第二卷积核大小1×1×m×n，获得第二计算量为：

m×n×df×df

所述深度可分离卷积的计算量为第一计算量与第二计算量之和：

dk×dk×m×df×df+m×n×df×df。

进一步地，在一种实现方式中，所述卷积神经网络选用在imagenet数据集上预训练好的模型，在制作的数据集上进行迁移学习。

进一步地，在一种实现方式中，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞xfmt101离线识别模块。

进一步地，在一种实现方式中，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技c270/i的摄像头。

进一步地，在一种实现方式中，所述信息采集模块包括gps单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述gps单元选用zbt公司的型号为sim28ml的gps定位器。

进一步地，在一种实现方式中，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；

当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。

进一步地，在一种实现方式中，所述中心模块通过usb接口分别与信息采集模块和计算加速模块连接；所述中心模块选用raspberrypi3b+；所述语音输出模块为中心模块自带的博通声卡设备。

由以上技术方案可知，本发明实施例提供一种多功能导盲杖，包括：中心模块，用于接收数据，数据预处理，数据传输，信号转换以及运行导航软件；数据采集模块，用于通过语音采集单元、图像采集单元、gps单元以及距离传感器采集输入信息，所述输入信息包括语音、图像、坐标以及距离；计算加速模块，用于搭载经过迁移学习的神经网络模型，对输入的图像做模型推理，返回计算结果。本发明实施例提供的一种多功能导盲杖不但利用深度神经网络实现了目标检测的功能，而且利用神经元计算棒极大提高了模型计算速度，使得目标检测的实时性得到保证。

本发明使用cnn来对神经网络进行训练，实现了图像识别的功能，并配备了神经元计算棒，保证图像识别的实时性。此外，现有技术中的导盲杖使用距离传感器实现测距预警的功能，而本发明在此功能上，还具备gps定位导航，图像识别的功能。进一步地，现有技术中的导盲杖在云计算基础上进行定位、避障的应用设计，而本发明的图像识别功能是其不具备的。因此，本发明开发一种具备导航、避障、实时物体识别的导盲杖，给盲人的日常生活带来更多便利，增加盲人出行的安全性。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例部分提供的一种多功能导盲杖的结构示意图；

图2是本发明实施例部分提供的一种多功能导盲杖中gps导航功能的工作流程示意图；

图3是本发明实施例部分提供的一种多功能导盲杖中测距避障功能的工作流程示意图；

图4是本发明实施例部分提供的一种多功能导盲杖中目标检测功能的工作流程示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明实施例公开一种多功能导盲杖，应用于盲人出行场景，如图1所示，一种多功能导盲杖，包括：

信息采集模块，用于采集输入信息并向计算加速模块和中心模块传输所述输入信息，所述输入信息包括用户语音信息、图像信息、坐标信息和距离信息；

所述计算加速模块，用于搭载经过迁移学习的神经网络模型，对所述信息采集模块采集的图像信息进行模型推理，并向所述中心模块返回目标检测结果；

所述中心模块，用于接收所述输入信息和目标检测结果；将所述用户语音信息转化为文字信息；将所述用户语音信息和坐标信息输入至导航软件，获得导航信息；将所述计算加速模块返回的目标检测结果转化为图像识别信息；将所述文字信息、导航信息和图像识别信息传输至语音输出模块；

语音输出模块，用于接收所述中心模块传输的文字信息、导航信息和图像识别信息，并将所述文字信息、导航信息和图像识别信息转化为语音进行输出。

本实施例所述的一种多功能导盲杖中，所述计算加速模块中存储有训练好的目标检测算法模型，在获取所述信息采集模块采集的图像信息后，通过所述目标检测算法模型对图像信息进行模型推理，获得目标检测结果；

所述目标检测算法模型选用ssd算法，所述ssd算法通过卷积神经网络对输入的图像信息进行目标识别，所述卷积神经网络采用mobilenet网络，通过所述mobilenet网络对目标检测过程中的卷积计算过程进行压缩；所述计算加速模块采用intel的神经元计算棒。本实施例所述的一种多功能导盲杖中，所述目标检测算法模型选用ssd，利用卷积神经网络提取特征后直接进行分类和定位，所述卷积神经网络采用mobilenet网络，通过所述mobilenet网络对经典卷积过程进行压缩，减小了卷积计算量，同时分类准确率仅有微小下降，大大提高了导盲杖目标识别的实时性。具体的，本实施例中，ssd为one-stage方法，抽样时采用不同尺度和长宽比。

本实施例所述的一种多功能导盲杖中，所述中心模块包括第一转化单元、第二转化单元和第三转化单元；

所述第一转化单元用于在接收用户语音信息后，将所述用户语音信息转化为文字信息，并传输至语音输出模块；

所述第二转化单元用于在接收用户语音信息和坐标信息后，将所述用户语音信息和坐标信息传输至导航软件，所述导航软件内置于中心模块，所述导航软件根据用户语音信息和坐标信息确定导航路径，所述中心模块将导航路径转化为导航信息并传输至语音输出模块；

其中，所述第二转化单元还接收距离信息，根据所述距离信息判断是否触发距离警报，当所述距离信息小于预设距离阈值时则触发距离警报，将所述距离信息转化为警报信息输出至语音输出模块；本实施例中，所述预设距离阈值由中心模块接收距离传感器距离信息的转换单元设置，具体的，通过pc机连接中心模块对预设距离阀值进行设置。

所述第三转化单元用于在接收目标检测结果后，将所述目标检测结果转化为图像识别信息，并传输至语音输出模块。

本实施例所述的一种多功能导盲杖中，所述计算加速模块中卷积神经网络采用深度可分离卷积，包括：

深度卷积，根据第一卷积核大小dk×dk×1×m，获得第一计算量为：

dk×dk×m×df×df

逐点卷积，根据第二卷积核大小1×1×m×n，获得第二计算量为：

m×n×df×df

所述深度可分离卷积的计算量为第一计算量与第二计算量之和：

dk×dk×m×df×df+m×n×df×df。

具体的，本实施例中，所述深度可分离卷积的计算量的大小用于衡量目标识别的速度，当所述深度可分离卷积的计算量越小，识别速度越快。深度可分离卷积比标准卷积有着更小的计算量，因此在导盲杖的目标识别计算中会有更好的实时性。本发明采用的即为使用深度可分离卷积的mobilenet作为目标识别的神经网络。

具体的，本实施例中，mobilenet使用的是3×3的卷积核，因此计算量可减少8～9倍。

本实施例所述的一种多功能导盲杖中，所述卷积神经网络选用在imagenet数据集上预训练好的模型，在制作的数据集上进行迁移学习。

具体的，本实施例所述的一种多功能导盲杖中，所述mobilenet网络选用在imagenet数据集上预训练好的模型，所述预训练好的模型的下载地址为：https://github.com/tensorflow/models/tree/master/research/slim/nets/mobilenet，然后在自己制作的数据集上进行迁移学习，进一步提高该网络的目标识别准确率。其中，选取日常生活中常见的物体，如人、猫、狗、门、窗、交通灯、护栏、树、楼房等各5000张图片，制作为迁移学习的数据集，将在上述地址下载的mobilenet在此数据集上进行迁移学习，由此提高目标检测的准确率。

本实施例所述的一种多功能导盲杖中，所述信息采集模块包括语音采集单元，用于采集并识别所述用户语音信息，将所述用户语音信息传输至中心模块内置的导航软件中，通过所述导航软件获取导航的目的地址，再根据所述导航的目的地址和坐标信息确定导航路径；所述中心模块将导航路径转化为导航信息，传输至语音输出模块，所述语音输出模块将导航信息转化为语音信息并输出；所述语音采集单元选用科大讯飞xfmt101离线识别模块。

本实施例所述的一种多功能导盲杖中，所述信息采集模块包括图像采集单元，用于采集所述图像信息，包括采集所述导盲杖正前方向上60°至正前方向下60°范围内，以及所述导盲杖正前方向左45°至正前方向右45°范围内的图像信息；所述图像采集单元包括摄像头，所述图像采集单元选用型号为罗技c270/i的摄像头。

本实施例所述的一种多功能导盲杖中，所述信息采集模块包括gps单元，用于采集所述坐标信息，所述坐标信息即导盲杖所在坐标信息；所述gps单元选用zbt公司的型号为sim28ml的gps定位器。

本实施例所述的一种多功能导盲杖中，所述信息采集模块包括距离传感器，用于采集所述距离信息，所述距离传感器通过测量距离传感器发射出的脉冲信号被障碍物反射回来的时间，计算所述导盲杖与障碍物之间的距离；

当所述导盲杖与障碍物之间的距离小于预设距离阈值时，所述距离传感器向中心模块发送障碍物距离过近信息，所述中心模块接收到障碍物距离过近信息后，向语音输出模块发送警报信息，所述警报信息在中心模块中预先设定，所述语音输出模块接收到所述警报信息后，输出与所述警报信息相应的警报声。

本实施例所述的一种多功能导盲杖中，所述中心模块通过usb接口分别与信息采集模块和计算加速模块连接；所述中心模块选用raspberrypi3b+；所述语音输出模块为中心模块自带的博通声卡设备。

具体的，本实施例中，如图2、图3和图4所示，为本发明中各功能的实现：

一、gps导航功能，包括：

当导盲杖用户需要到达指定地点时，用户按下导盲杖的第一按钮，语音采集单元接收用户的语音信息，并转化为文字，传递到中心模块，此时gps单元开启，将用户实时位置发送至中心模块，中心模块加载导航软件中的离线地图，输入从gps单元和语音采集单元传送来的信息，作为导航路线的起点和终点，生成导航路线，并通过语音输出模块告知用户。该功能具备实时性好、准确性高的特点，让盲人用户的出行得到极大的便利。

二、避障功能，包括：

当导盲杖距离障碍物过近时，此时中心模块接收到距离传感器传回的距离信息，如果该距离小于中心模块中的预设阈值，中心模块即向语音播放模块发出警报信息，语音输出模块发出警报，提醒导盲杖用户。该功能实时性好，能够让用户及时规避障碍物。

三、实时目标识别功能，包括：

当导盲杖用户需要知晓前方的物体类别时，按下导盲杖的第二按钮，图像采集单元的摄像头开始工作，记录下导盲杖前方的图像信息，传递至中心模块，中心模块将该图像信息传递至计算加速模块进行图像识别，计算加速模块在识别结束后将结果返回至中心模块，中心模块将结果传递至语音输出模块，语音输出模块将结果播放。该功能利用加速计算模块，提高了目标识别的实时性，提高了盲人获取周围信息的能力，为盲人提供了一条更好的感知周围的环境的途径。

具体的应用场景如下：

场景1，当导盲杖距离障碍物过近时，此时中心模块接收到距离传感器传回的距离信息，如果该距离小于中心模块中的预设阈值，中心模块即向语音播放模块发出警报信息，语音输出模块发出对应的警报声，提醒导盲杖用户躲避障碍物。

场景2，当导盲杖用户需要到达指定地点时，用户按下导盲杖的第一按钮，语音采集单元接收用户的语音信息，并转化为文字信息，传递到中心模块，此时gps单元开启，将用户实时位置发送至中心模块，中心模块加载离线地图导航软件，输入从gps单元和语音采集单元传送来的信息，作为导航路线的起点和终点，生成导航路线，并通过语音输出模块告知用户。

场景3，当导盲杖用户需要知晓前方的物体类别时，按下导盲杖的第二按钮，图像采集单元的摄像头开始工作，记录下导盲杖前方的图像信息，传递至中心模块，中心模块将该图像信息传递至计算加速模块进行图像识别，计算加速模块在识别结束后将结果返回至中心模块，中心模块将结果传递至语音输出模块，语音输出模块将结果播放。

由以上技术方案可知，本发明实施例提供一种多功能导盲杖，包括：中心模块，用于接收数据，数据预处理，数据传输，信号转换以及运行导航软件；数据采集模块，用于通过语音采集单元、图像采集单元、gps单元以及距离传感器采集输入信息，所述输入信息包括语音、图像、坐标以及距离；计算加速模块，用于搭载经过迁移学习的神经网络模型，对输入的图像做模型推理，返回计算结果。本发明实施例提供的一种多功能导盲杖不但利用深度神经网络实现了目标检测的功能，而且利用神经元计算棒极大提高了模型计算速度，使得目标检测的实时性得到保证。

本发明使用cnn来对神经网络进行训练，实现了图像识别的功能，并配备了神经元计算棒，保证图像识别的实时性。此外，现有技术中的导盲杖使用距离传感器实现测距预警的功能，而本发明在此功能上，还具备gps定位导航，图像识别的功能。进一步地，现有技术中的导盲杖在云计算基础上进行定位、避障的应用设计，而本发明的图像识别功能是其不具备的。因此，本发明开发一种具备导航、避障、实时物体识别的导盲杖，给盲人的日常生活带来更多便利，增加盲人出行的安全性。

本说明书中各个实施例之间相同相似的部分互相参见即可。以上所述的本发明实施方式并不构成对本发明保护范围的限定。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除