一种交互式盲人智能辅助装置的制作方法

本实用新型属于盲人智能辅助装置研究领域，尤其涉及一种交互式盲人智能辅助装置具。

背景技术：

残障人士在我国一直被社会广泛关注，其中，盲人群体的生存状况是长久以来为社会所关注的话题。随着城市中无障碍设施建设的快速发展，盲人群体的出行越来越便利，但是目前盲人群体的出行仍然存在许多潜在危险。盲道占用的情况屡见不鲜，导致盲人无法有效感知道路前方障碍，从而给盲人带来意外伤害。导盲犬的存在能够有效解决这一问题，但是导盲犬训练难度大，训练周期长，能够进行有效工作的犬种数量很少，无法满足国内如此庞大的盲人群体的需求；更为重要的是，导盲犬无法阅读理解自然场景中的文本信息，无法反馈商品、广告等信息。现有的导盲设备大多强调设备自主传感感知，忽略了道路条件及盲人步伐；传统盲人辅助设备无法有效行驶在路面条件较差的道路上。目前急需一种能够代替导盲犬工作的交互式智能辅助设备，以保障盲人安全出行，实现语音交互、平稳行驶、文字阅读、紧急呼救等功能。

技术实现要素：

针对现有技术中存在不足，本实用新型提供了一种交互式盲人智能辅助装置，能够识别盲道信息和障碍物，帮助盲人平稳安全出行，还能识别周边文字信息并通过语音播报告知给盲人，遇到突发状况能够快速告知紧急联系人，本实用新型的辅助装置除了能够自主导航行走来引导盲人，还能实现人工控制。

本实用新型是通过以下技术手段实现上述技术目的的。

一种盲人智能辅助装置，包括主处理器模块和与主处理器模块连接的功能模块、传感模块、运动模块、通信模块、定位模块、语音模块、警示模块、电源模块；主处理器模块控制运动模块带动辅助装置行走；主处理器模块接收传感模块传递的数据并进行处理；主处理器模块控制通信模块进行文字识别以及发送短信；主处理器模块接收定位模块传递的数据，并进行路径规划以及侧翻判断；主处理器模块控制语音模块进行人声识别以及播报语音提示；主处理器模块控制警示模块开启以提醒周边行人注意避让。

进一步地，所述功能模块通过牵引绳与主处理器模块连接，包括cmos摄像头速度调节滚轮、摇杆以及功能按键，用于获取周边环境信息以及控制辅助装置工作。

进一步地，所述功能按键设置成不同形状，便于盲人区分使用。

进一步地，所述传感模块包括超声波传感器模块、压力传感器模块和摄像头模块，分别用于测距、检测压力值、捕捉信号灯状况和道路状况；所述警示模块包括led警示灯。

进一步地，所述运动模块包括麦克纳姆轮，麦克纳姆轮与编码减速电机连接，编码减速电机与电机驱动模块连接，电机驱动模块与主处理器模块连接，用于控制机器犬的行走速度和方向。

进一步地，所述编码减速电机的固定座与减震装置螺钉连接，减震装置与辅助装置底盘螺钉连接；所述压力传感器模块设置在减震装置中。

进一步地，所述通信模块包括gsm通信模块、gprs通信模块和服务器，用于向紧急联系人发送位置信息和呼叫短信，进行文字识别。

进一步地，所述定位模块包括gps模块和6轴陀螺仪，用于为盲人规划路径，获取机器犬运动状态。

进一步地，所述语音模块包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块中，用于采集盲人的语音数据并进行识别；语音播报模块的扬声器通过导线延伸出来并固定在机器犬胡须处，用于向盲人播报不同的语音提示。

本实用新型具有如下有益效果：

与现有技术相比，本实用新型的辅助装置利用cmos摄像头获取自然场景下的图像数据，由服务器中改进的深度学习模型进行图像中的文字信息识别，并且能够将识别结果进行语音播报来告知盲人，实现语音交互，帮助盲人了解周围环境状况；本实用新型中的深度学习网络模型对于图像数据中文字的提取更加精确可靠，从而在很大程度上提高识别结果的准确性。机器犬中装载有减震装置和压力传感器模块，主处理器能够对传感器检测的数据进行分析并采用模糊pid算法来更加有效地调整机器犬行走速度，使得其能够稳定行驶在凹凸路面上，同时还会语音提醒盲人注意道路凹凸。除此以外，本实用新型还能够实现自主导航循迹、盲道识别、避障、路口信号灯检测、紧急呼救等基础功能，能够为盲人出行提供很多的便利。

附图说明

图1为本实用新型所述辅助装置模块示意图；

图2为本实用新型所述机器犬外部结构示意图；

图3为本实用新型所述机器犬内部结构示意图；

图4为本实用新型所述减震装置结构示意图；

图5为本实用新型所述减震装置安装示意图；

图6为本实用新型所述编码减速电机结构示意图；

图7为本实用新型所述麦克纳姆轮结构示意图；

图8为本实用新型所述功能模块结构示意图；

图9为本实用新型所述隶属度函数图；

图10为本实用新型所述盲道识别结果示意图，其中，图10(a)为黄色盲道识别结果示意图，图10(b)为灰色盲道识别结果示意图；

图11为本实用新型所述自适应多边形文本框标注示意图；

图12为本实用新型所述自然场景文字信息识别结果示意图，其中，图12(a)为cmos摄像头获取的图像数据示意图，图12(b)为图像文字识别结果示意图。

图中：1-功能模块；2-牵引绳；3-超声波传感器；4-摄像头一；5-摄像头二；6-摄像头三；7-警示灯；8-麦克纳姆轮；9-编码减速电机；10-固定座；11-电机驱动模块；12-主处理器模块；13-减震装置；14-底盘；15-通信模块；16-定位模块；17-陀螺仪；18-电源模块；19-扬声器；20-语音模块；21-电源开关；22-自主运行按键；23-速度调节滚轮；24-信号灯识别按键；25-拍照按键；26-cmos摄像头；27-手动行驶按键；28-摇杆；29-呼救按键。

具体实施方式

下面结合附图以及具体实施例对本实用新型作进一步的说明，但本实用新型的保护范围并不限于此。

如图1所示，本实用新型所述的盲人智能辅助装置为导盲机器犬，导盲机器犬包括主处理器模块12和与主处理器模块12连接的功能模块1、运动模块、传感模块、通信模块15、定位模块、语音模块20、警示模块及电源模块18。

如图2至8所示，所述主处理器模块12为cortex-m4(嵌入式处理器)开发板，用于控制其他模块工作并进行数据处理，开发板上装载有64gbtf卡，用于存储数据；功能模块1通过机器犬尾部牵引绳2与主处理器模块12导线连接，功能模块1包括cmos摄像头26、速度调节滚轮23、摇杆28以及若干不同形状的功能按键，cmos摄像头26用于拍摄获取周边环境信息，速度调节滚轮23、摇杆28以及功能按键方便盲人控制机器犬工作，按键设置成不同的形状，便于盲人区分使用。运动模块包括四个45°麦克纳姆轮8，麦克纳姆轮8通过联轴器与编码减速电机9连接，编码减速电机9电路部分通过导线与电机驱动模块11连接，电机驱动模块11与主处理器模块12连接，用于控制机器犬的行走速度和方向；编码减速电机9的固定座10与减震装置13螺钉连接，减震装置13与机器犬底盘14螺钉连接。传感模块包括8路超声波传感器3模块、4路压力传感器模块和3路摄像头模块，其中，机器犬身体两侧、腹部、鼻子处以及下颚处分别固定有4路、2路、1路、1路超声波传感器3模块，用于感知周边障碍物；4路压力传感器模块分别嵌入减震装置13中并与主处理器模块12连接；3路摄像头模块分别装在机器犬眼睛和腹部，用于捕捉信号灯状况以及道路状况；通信模块15包括gsm通信模块、gprs通信模块和服务器，gsm通信模块用于向盲人的紧急联系人发送短信提醒以及位置信息，gprs通信模块用于将主处理器传递过来的图片数据发送给服务器，由服务器对图片中的文字进行识别；定位模块16包括gps模块和6轴陀螺仪17，用于为盲人规划路径，同时能够获取机器犬运动状态；语音模块20包括非特定人声语音识别模块和语音播报模块，非特定人声语音识别模块的麦克风通过导线延伸至功能模块1中，用于采集盲人的语音数据并进行语音识别；语音播报模块的扬声器19通过导线延伸出来并固定在机器犬胡须处，用于播报不同的定制语音内容；警示模块为固定在机器犬两侧耳朵上的led警示灯7，警示灯7与主处理器模块12连接，用于提醒周边行人注意避让盲人；电源模块18固定在机器犬内部，电源模块18与主处理器模块12连接，为整个装置提供能源。

盲人出行时，打开功能模块1上的电源开关21，按下自主运行按键22，主处理器模块12检测到按键已按下状态后控制语音播报模块播报“请说出您要去的地址”，同时控制非特定人声语音识别模块采集盲人语音数据并进行识别，并将识别结果回传给主处理器模块12，主处理器模块12控制语音播报模块向盲人播报识别出的地址信息供盲人确认，同时再次控制非特定人声语音识别模块采集并识别盲人反馈的语音数据；如果盲人反馈结果是地址识别错误，则主处理器模块12会控制语音播报模块和非特定人声语音识别模块重新进行地址数据的采集和识别；如果盲人反馈结果是地址识别正确，则主处理器模块12会将识别出的地址数据传递给gps模块，进行定位，gps模块将实时定位数据传递给主处理器模块12，主处理器模块12采用百度地图进行路径规划导航，同时控制机器犬腹部的摄像头一4开启进行循迹。

机器犬行驶在室外路面上时，主处理器模块12获取gps模块采集的实时位置信息(经纬度、磁偏角等)；6轴陀螺仪17内包含3轴加速度计和3轴磁场传感器，当机器犬侧翻时，主处理器模块12根据加速度计测得的数据，分析出机器犬某一方向运动出现异常，主处理器模块12控制语音播报模块播报“机器犬发生侧翻，请扶正”的语音提示。

机器犬行驶在凹凸路面上时，可以通过减震装置13分担颠簸；同时主处理器模块12对机器犬下颚处超声波传感器3模块以及减震装置13中压力传感器模块传递过来的数据进行分析，通过控制电机驱动模块11来控制机器犬的行驶速度，并控制语音播报模块播报“前方道路颠簸，请注意行走”。盲人在行走过程中还可以通过功能模块1中的速度调节滚轮23调整机器犬行驶速度，以适应自己的行走步伐。本发明中的机器犬移动平台采用45°麦克纳姆轮8，每个轮子都由主处理器模块12通过电机驱动模块11单独控制旋转，因此传统的pid调速方法法无法进行有效调节。为此本发明采用模糊pid算法来调整机器犬速度：根据模糊规则经验表中的规则进行模糊推理，对模糊参数进行解模糊，输出pid控制参数；模糊参数输入量为麦克纳姆轮8的实际转速s和设定转速d之间的偏差e(e＝s-d)以及偏差变化率ec；

ec＝ek-ek-1(1)

其中，ek表示当前偏差；ek-1表示前一时刻偏差；e的基本论域取[-30，30]；ec的基本论域取[-10，10]；将变量e和变量ec按照公式(2)进行离散化：

其中，y^*对应离散化后输出的模糊变量；x^*对应输入的变量，x^*∈[a^*,b^*]，[a^*,b^*]对应输入变量的论域范围；n^*为离散度，设置为3。

离散化后的输出量则为模糊变量e和ec，离散论域均为{-3,-2,-1,0,1,2,3}。在模糊控制器中将输入值模糊变量e和ec分成7个等级，用模糊语言和隶属度进行描述为：nb(负大)、nm(负中)、ns(负小)、zo(零)、ps(正小)、pm(正中)、pb(正大)；模糊控制器的输出量为pid控制参数：δkp、δki、δkd；由实验可以得到δkp、δki、δkd的离散论域分别为{-1.56,-1.04，-0.52，0，0.52，1.04，1.56}，{-8.4，-5.6，-2.81，0，2.8，5.6，8.4}，{-0.45，-0.3，-0.15，0，0.15，0.3，0.45}；模糊控制器的输出采用公式(3)所示的三角形隶属度函数：

如图9所示，其中，参数a、c为隶属度函数图中三角形的脚；b为隶属度函数图中三角形的峰；x对应模糊控制器的输入量；f(x,a,b,c)对应模糊控制器的输出量。

解析规则如下：每个控制参数都有与之对应的模糊规则控制表，根据δkp对应的模糊规则控制表(表1)中的规则if(eispb)and(ecisnb),then(δkpiszo)、(δkiiszo)、(δkdispb)，如果偏差e为正大，并且其变化率ec为负大，那么需要设置δkp为零，表示保持不变；设置δki为零，表示保持不变；设置δkd为正大，表示调节δkd使其大幅增大。采用重心法解模糊：

其中，q表示清晰值；xi表示隶属度；μn(xi)表示模糊变量；清晰值q需经过线性尺度变换转换为实际的控制量δkp：

其中，mmin、mmax为δkp的实际变化范围，即基本论域[mmin，mmax]，nmin、nmax为δkp论域[nmin，nmax]。利用表2、表3，同理可求得其他控制参数δki和δkd，主处理器模块12向电机驱动模块11输出控制参数，实现对机器犬行驶速度的控制。

表1δkp模糊规则控制表

表2δki模糊规则控制表

表3δkd模糊规则控制表

主处理器模块12控制摄像头一4捕获前方道路图像数据，进行盲道(常见的盲道颜色有黄色和灰色，盲道纹理分为条形和圆形，其中条形盲道表示盲道在该方向保持不变，圆形盲道表示盲道在该位置处方向发生了偏转，或者表示到达了路口，前方没有盲道)识别时，采用传统的特征提取算法，将摄像头一4传递的rgb图像转换为二维ycrcb图像以减少亮度对图像质量的影响，采用canny算子(多级边缘检测算法)进行图像轮廓提取，滤除非圆形、条形轮廓后采用形态学腐蚀、膨胀、填充方法获得连通区，完成对盲道的检测提取，盲道识别结果如图10所示；如果没有识别到盲道，主处理器模块12控制语音播报模块播报“未检测到盲道，请小心行走”的语音提示，同时控制警示模块的led警示灯7开启，便于周围人群或车辆避让盲人。

机器犬行走至圆形点状盲道位置或者盲人按下功能模块1中的信号灯识别按键24后，主处理器模块12控制机器犬停止行走，并开启眼部摄像头二5和摄像头三6，捕捉信号灯位置及状态信息并回传给主处理器模块12进行处理分析。主处理器模块12对红色和绿色兴趣区域进行连通区域标定，设定阈值并提取兴趣区域的面积，滤除大面积或细微面积区域，在提取区域范围中匹配黑色物体轮廓(过街灯外壳)，若存在近似矩形的黑色轮廓，则判断为信号灯，使用基于差值法的图像变化检测算法，判断图像是否发生了变化，再确定发生变化的图像区域，进而识别变化的性质，完成对信号灯状态的分析；主处理器模块12根据分析结果，控制语音播报模块播报当前信号灯状态提示音；当主处理器模块12没有识别到信号灯时，控制语音播报模块播报“未检测到信号灯，请小心行走”的语音提示；与此同时，主处理器模块12控制机器犬行走，并控制led警示灯7开启，引导盲人安全地穿过道路。

机器犬在行走过程中，采用除下颚处以外的7路超声波传感器3模块进行道路障碍检测，超声波传感器3将检测到的障碍物与机器犬之间的距离信息传递给主处理器模块12，主处理器模块12将单位时间内机器犬位移量与单位时间内障碍物与机器犬之间距离减少量做比较，若二者一致，则表明障碍物为静止障碍物，否则为动态障碍物；主处理器模块12根据定位导航信息以及传感器传递过来的距离信息确定避让时间和方向；同时，位于机器犬下颚处的超声波传感器3检测机器犬距离路面的高度，主处理器模块12将检测数据与阈值对比并记录落差；若落差大于15厘米则停止行驶，并控制语音播报模块播报“前方道路高度落差较大，已停止行驶”的语音提示；若落差小于等于15厘米则继续行驶，并控制语音播报模块播报前方道路高度落差数据以提醒盲人注意。

除此以外，机器犬还可以辅助盲人识别自然场景中的文字信息，盲人按下功能模块1中的拍照按键25，cmos摄像头26拍摄获取自然场景下商品、街道、区位广告等图像数据，并传递给主处理器模块12，主处理器模块12通过gprs通信模块将数据传递给服务器，由服务器中的深度学习网络模型进行数据的识别处理，并将识别信息通过gprs通信模块回传给主处理器模块12，主处理器模块12根据识别结果控制语音播报模块播报识别到的文字信息，增强盲人与现实世界的交互，帮助盲人更好地掌握周边环境信息，文字信息识别结果如图11所示。在文字识别的过程中，本实用新型对已有的深度学习中自然场景文字定位算法pixellink进行改进：在原深度学习网络模型中增加了seblock结构，使得网络模型在学习中能够自主获取每个特征通道的权重，提升有用特征并抑制低效特，后续对特征图maskmap进行自适应多边形文本框标注，文本框标注结果如图11所示(矩形框1表示采用传统深度学习网络模型的文本框标注结果，矩形框2表示采用改进深度学习网络模型的文本框标注结果)；自适应多边形文本框标注的具体算法过程如下：

深度学习网络模型总体损失函数定义如下：

其中，像素分类任务损失函数lpixel及像素连接关系预测任务损失函数llink与原算法中的损失函数保持一致；lreg表示边界点回归任务损失函数；lcls表示停止/继续标签分类任务损失函数；λ1表示像素分类任务的权重参数；λ2表示像素连接关系预测任务的权重参数；λ3表示框点对预测任务的权重参数；λ4表示框点对开始结束标志分类任务的权重参数；因为像素连接关系预测任务、框点对预测任务、框点对开始结束标志分类任务都是在文本像素上进行计算的，所以像素分类任务比这三种任务更重要，因此，本实施例中λ1＝2,λ2,λ3,λ4默认设置为1。

边界点回归任务损失函数lreg推导如下：设定v是像素连接关系预测任务所得特征图的最小外接矩形框，矩形框的中心点坐标(vx,vy)，中心点距离矩形边框的宽vw，中心点距离矩形边框的高vh；v＝(vx,vy,vw,vh)；u＝(ux1,uy1,……,uxn,uyn)；其中u是数据集中边界点的真实坐标集，u^*是在边界点回归任务中的预测点坐标集；为了能够更好的学习场景文字中各个文字不同的尺度，对预测的边界点坐标作如下处理：

其中，和表示当前文本边界点预测的坐标，xa和ya表示当前预测区域对应外接矩形框va的中心点坐标，wa和ha表示对应的外接矩形框的宽和高，损失函数如下：

总的边界点回归任务损失函数即为其中n为边界点坐标总数量。而对应的停止/继续标签分类任务损失函数lcls为普通二分类对数损失函数，在边界点回归任务中预测一对坐标后对这一对坐标进行标签分类，定义如下：其中li表示第i对边界点标签，是当前标签的分类，表示这一对坐标点未到文本框尽头，分类为继续；表示这一对坐标点已经将所有文本框定，分类为停止。pi是当前标签经过分类器分类后属于停止/继续标签的概率，因边界框点回归数量为n，则在标签分类任务中分类总次数为2/n，总的停止/继续标签分类任务损失函数为

图像数据输入到服务器中后，服务器利用上述算法公式标注出图像中的文字部分，然后对标注框中的内容进行识别，并回传给主处理器模块12，由主处理器模块12控制语音播报模块将识别结果播报出来。

当盲人在出行过程中遇到无法处理的突发状况时，可按下功能模块1中的呼救按键29，主处理器控制led警示灯7打开，控制语音播报模块播报“我们遇到困难了，我的主人需要帮助”的语音提示，以寻求周围行人的帮助；同时，主处理器模块12控制gsm通信模块给紧急联系人发送通知短信和定位短信。

在盲人到达目的地并进入楼宇中后，gps一般很难准确获取定位信息，导致机器犬无法有效根据定位行驶，此时使用者可以按下功能模块1中的手动行驶按键27，使得机器犬保持导航状态信息和障碍物检测功能，关闭自主行驶功能，根据提示信息由盲人通过功能模块1中的摇杆28自行控制机器犬行驶，当盲人再次按下功能模块1中的手动行驶按键27时则可恢复原先的自主导航行驶模式。

所述实施例为本实用新型的优选的实施方式，但本实用新型并不限于上述实施方式，在不背离本实用新型的实质内容的情况下，本领域技术人员能够做出的任何显而易见的改进、替换或变型均属于本实用新型的保护范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除