一种多功能辅助视听的方法及系统与流程

本发明涉及增强现实领域，具体涉及一种多功能辅助视听的方法及系统。

背景技术：

听力障碍人士的生活中往往出现很多困难和危险，比如与人交谈或者在车辆来往的马路上行走时都会有一些困扰或危险，听力障碍给他们带来的生活困境是需要解决的问题。

随着科技的进步，很多高科技产品出现在我们生活中，解决听力障碍人士的产品也层次不穷，例如我们现在经常见到的助听器，但是助听器长期佩戴会对耳朵带来严重的负担，并且助听器常常引进一些嘈杂的噪音，无法让听力障碍人士判断危险的方位或者听清对方的交谈。提供一种智能化的多功能辅助视听系统是我们急需解决的问题。

技术实现要素：

本发明的目的在于提供一种多功能辅助视听的方法及系统，解决目前无法让听力障碍人士判断危险的方位或者听清对方的交谈问题。

为达到上述目的，本发明采取的技术方案是：

一种多功能辅助视听的方法，包括以下步骤：

第一步，获取至少三个视听采集系统中的语音采集模块采集的第一语音信号，获取至少三个视听采集系统的视频采集模块采集的视频信号；

第二步，获取视听ar系统中的语音采集模块采集的第二语音信号；

第三步，分析所述第一语音信号和所述第二语音信号，对比第一语音信号高频成分占比与预设阈值，得到分析结果；

第四步，根据所述分析结果，处理所述第一语音信号和所述第二语音信号，得到处理结果；

第五步，控制视听ar系统中的ar显示模块显示处理结果。

作为一种实施例，所述第一语音信号高频成分占比超过所述预设阈值，根据声源定位算法定位声源位置，并调取临近声源位置的视频采集模块采集到的所述视频信号叠加警示字符作为处理结果。

作为一种实施例，所述第一语音信号高频成分占比低于所述预设阈值且所述第二语音信号被采集到时，根据在线语音识别算法将语音信号转化为文字作为处理结果。

进一步的，所述声源定位算法为侦听各个所述视听采集系统中的语音采集模块的第一语音信号，利用各个所述视听采集系统中的语音采集模块采集到的第一语音信号的时间差定位声源。

进一步的，所述预设阈值为10％～20％。

本发明还公开一种多功能辅助视听的系统，包括中央处理模块、电源模块、至少三个视听采集系统和视听ar系统，所述视听采集系统包括语音采集模块和视频采集模块，所述语音采集模块和视频采集模块与所述中央处理模块通信连接，所述视听ar系统包括语音采集模块和ar显示模块，所述语音采集模块和ar显示模块与所述中央处理模块通信连接，所述电池模块与所述中央处理模块、所述至少三个视听采集系统和所述视听ar系统分别电性连接。

进一步的，所述至少三个视听采集系统不共线布置。

进一步的，所述视听ar系统设置在头部前方。

本发明与现有技术相比，具有如下的优点和有益效果：

利用语音采集模块阵列采集警报、鸣笛等高频声音；利用各个语音采集模块接收到声音的时间差，计算声源的距离和方位，实现对声源的定位；根据声源定位结果，启动对应的视频采集模块，采集声源所在区域的视频图像；根据实际情况，中央处理模块生成诸如“左侧感知到警笛声”的警示字符；利用ar显示模块，在摄像头采集到的图像上叠加警示字符，显示在辅助视听系统佩戴者眼前，使听力障碍人士能够通过警示字符以及投影的视频全面感知声源处的环境态势。另一方面，在听力障碍者与正常人交流时，安装在多功能辅助视听系统前方的语音采集模块启动，实时采集对方的语音信息；中央处理模块进行在线语音识别，将输入的语音信号转换为文本；语音识别后的文本送往ar设备，显示在佩戴者眼前，帮助听力障碍人士“听”到声音。

附图说明

图1为本发明第一种实施例的方法流程图；

图2为本发明第一种实施例的信息流图；

图3为本发明第二种实施例的系统结构图；

图4为本发明第二种实施例中视听采集系统的结构框图；

图5为本发明第二种实施例中视听ar系统的结构框图；

图6为本发明第一种实施例的三麦克风声源定位示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1所示，本发明公开的一种多功能辅助视听的方法，包括以下步骤：

第一步，获取至少三个视听采集系统中的语音采集模块采集的第一语音信号，获取至少三个视听采集系统的视频采集模块采集的视频信号；语音采集模块优选高灵敏度的麦克风。

第二步，获取视听ar系统中的语音采集模块采集的第二语音信号；

第三步，分析第一语音信号和所述第二语音信号，对比第一语音信号高频成分占比与预设阈值，该阈值用户可以自己设定，一般为10％～20％，得到分析结果；

第四步，根据所述分析结果，处理所述第一语音信号和所述第二语音信号，得到处理结果；

第五步，控制视听ar系统中的ar显示模块显示处理结果。

具体的，当第一语音信号高频成分占比超过预设阈值，根据声源定位算法定位声源位置，并调取临近声源位置的视频采集模块采集到的视频信号叠加警示字符作为处理结果；此时的应用场景举例：听力障碍人士佩戴多功能辅助视听系统在户外活动，后方20米处行驶的车辆为了提示路人连续鸣笛，多功能辅助视听系统感知到声音，进行分析后，判定声音中的高频成分占比30％，立刻进行声源定位，计算声源的距离和位置，随后启动后方视频采集设备，将该区域的视频信息投影到佩戴者眼前，同时在视频上叠加显示“注意，后方20米处传来连续鸣笛声”的警示符，听力障碍人士无需四处环视，借助多功能辅助视听系统就能够全方位了解周围环境态势。

其中，声源定位算法为侦听各个视听采集系统中的语音采集模块的第一语音信号，利用各个视听采集系统中的语音采集模块采集到的第一语音信号的时间差定位声源，例如用三个视听采集系统进行定位，具体如图6，用三个麦克风作为语音采集模块举例，以麦克风m1,m2的中点为原点，以m1,m2的连线为x轴，建立麦克风阵列坐标系oxy，则麦克风m0位于y轴上。根据坐标系定义，假设m0,m1,m2的坐标分别为(0,l2)，(-l1,0)和(l1,0)，声源s的坐标为(rcosθ,rsinθ)，r为s到原点的距离。

根据图6，假设声音速度为c，声源到达麦克风m0,m1,m2的时间分别为τ0，τ1，τ2，时间差τ01＝τ1-τ0,τ02＝τ2-τ0，τ12＝τ2-τ1，根据几何关系有

上述方程组为关于r和θ的方程，利用二元二次方程求解方法可得到声源的方位和距离。

当第一语音信号高频成分占比低于预设阈值且第二语音信号被采集到时，根据在线语音识别算法将语音信号转化为文字作为处理结果，此时的应用场景举例：听力障碍人士佩戴多功能辅助视听系统与正常人进行面对面的交流，视听ar系统中的语音采集模块采集对方的语音信息，中央处理模块在线识别语音，将语音信息转换为文字，然后通过ar显示模块将文本信息投射到听力障碍人士的眼部前方，实现听力障碍人士“听”到声音的效果。

实施例2：

如图3和图4所示，本发明公开的本发明还公开一种多功能辅助视听的系统，包括中央处理模块、电源模块、至少三个视听采集系统和视听ar系统，视听采集系统包括语音采集模块和视频采集模块，语音采集模块和视频采集模块与中央处理模块通信连接，视听ar系统包括语音采集模块和ar显示模块，语音采集模块和ar显示模块与中央处理模块通信连接，电池模块与中央处理模块、至少三个视听采集系统和视听ar系统分别电性连接。

其中，中央处理模块可采用stm32系列单片机，语音采集模块可采用灵敏度较高的麦克风，视频采集模块可采用高清微型摄像头，ar显示模块可选用vufine增强现实眼镜。

其中，至少三个视听采集系统不共线布置，优选地，视听采集系统为三个，分别布置在人头部的左侧、右侧和后侧，视听ar系统布置在人头部的前方。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除