一种麦克风阵列波束成形的方法及系统与流程
本公开涉及语音增强技术领域,具体涉及利用麦克风阵列技术对语音信号进行处理、降低噪声、增加目标信号强度和质量,尤其涉及一种麦克风阵列波束成形的方法及系统。
背景技术:
语音交互技术在汽车内应用越来越广,由于车内和车外都有有别于其他环境的噪声和干扰,形成了汽车声音环境的特殊性和复杂性。另外一方面,麦克风直接采样的语音信号,往往混淆着各种噪声和干扰,汽车的使用场景更容易混杂多种不同类型的噪声,无论是日常通信还是语音识别都对语音增强有着巨大的需求,因而对车内麦克风阵列技术的要求越来越高。
语音增强属于数字信号处理的一种,主要目的之一是提高声音的质量,提高用户的主观听感,使用户更容易听懂语音内容,比如手机里面的语音增强模块;另外一个目的是对语音进行预处理,提高后面的语音识别模块的效果,被广泛用于手机或者智能音箱;汽车内的语音交互,比如打电话或者语音识别也会用到这两种增强处理模式。而麦克风阵列利用多个麦克风元件,对声场的空间特性进行采样并处理,用于提高语音的信噪比、对声源定位及去混响等等,被广泛应用于视频会议、手机、智能音箱等产品中,汽车行业也广泛使用麦克风阵列以提升车内语音交互的效果。
波束成形技术合并了从麦克风阵列中接收的多个音频信号用以增强特定方位的信号,或者说,波束成形技术可以增强环境中某些期望方向的声源,并衰减非期望方向的噪声或者干扰,来提高音频信号的大小或者输出质量。但波束成形技术在麦克风阵列的应用中存在波束方向的问题。一种常见的做法是通过算法把波束指向声音信号最强的方向,然后增强这个最强方向的信号,但实际应用中声音能量最强的信号并不总是期望指向信号,而且期望指向信号的能量也不总是恒定的,在动态过程中波束成形的方向有可能被算法指向其他方向。
基于上述波束方向的问题,现有技术中有将唤醒的方向作为波束成形的方向,这种做法可以让波束指向唤醒者的方向,保证了唤醒者的声音被波束成形算法作为增强的目的信号,但这种做法依赖于唤醒的流程,同时对还处于唤醒状态的语音没有增强效果。还有通过预识别的方法把波束方向分为若干个方向后,对此进行预识别,识别分数较高的方向作为波束成形的方向,这种做法可以解决噪声能量过强的问题,因为噪声往往不带有语言信息,识别后的分数不会很高,但这种做法依赖识别模块,且增加了算法的复杂度。
技术实现要素:
本公开提供了一种麦克风阵列波束成形的方法及系统,其技术目的是通过对波束成形方向进行预估,简化了波束成形方向扫描的复杂度,并以此为基础对强干扰信号进行消减,提升车内麦克风阵列获取的音频信号的整体效果。
本公开的上述技术目的是通过以下技术方案得以实现的:
一种麦克风阵列波束成形的方法,包括:
采集音频信号;
获取座位信号;
根据所述座位信号进行判断得到第一波束范围,通过所述第一波束范围和所述音频信号判断获取所述音频信号的第二波束方向;
根据所述第二波束方向对所述音频信号进行波束成形处理并输出。
进一步地,所述判断包括:
根据所述座位信号进行判断得到第一波束范围,通过所述第一波束范围和所述音频信号判断获取所述音频信号的第二波束方向;
在所述第二波束方向的范围外判断是否存在强干扰信号;
存在所述强干扰信号时,判断所述强干扰信号是否超过阈值,若超过阈值则获取所述强干扰信号的第三波束方向。
进一步地,当在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号未超过阈值、或在所述第二波束方向的范围外不存在所述强干扰信号时,所述波束成形处理包括:在所述第二波束方向内对所述音频信号进行波束成形处理后输出。
进一步地,在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号超过阈值时,所述波束成形处理包括:
在所述第三波束方向内对所述强干扰信号进行波束成形处理后得到第一输出信号;
以所述第一输出信号为参考信号消除所述音频信号中的所述强干扰信号,得到第二输出信号;
在所述第二波束方向内对所述第二输出信号进行波束成形处理后输出。
进一步地,在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号超过阈值时,所述波束成形处理包括:
在所述第三波束方向内对所述强干扰信号进行波束成形处理,得到第三输出信号;
在所述第二波束方向内对所述音频信号进行波束成形处理,得到第四输出信号;
以所述第三输出信号为参考信号消除所述第四输出信号中的所述强干扰信号后输出。
一种麦克风阵列波束成形的系统,包括:
麦克风阵列,采集音频信号;
传感器,获取座位信号;
判断模块,根据所述座位信号进行判断得到第一波束范围,通过所述第一波束范围和所述音频信号判断获取所述音频信号的第二波束方向;
波束成形模块,根据所述第二波束方向对所述音频信号进行波束成形处理并输出。
进一步地,所述判断模块包括:
第一判断单元,根据所述座位信号进行判断得到第一波束范围,通过所述第一波束范围和所述音频信号判断获取所述音频信号的第二波束方向;
第二判断单元,在所述第二波束方向的范围外判断是否存在强干扰信号;
第三判断单元,存在所述强干扰信号时,判断所述强干扰信号是否超过阈值,若超过阈值则获取所述强干扰信号的第三波束方向。
进一步地,所述波束成形模块用于:当在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号未超过阈值、或在所述第二波束方向的范围外不存在所述强干扰信号时,在所述第二波束方向内对所述音频信号进行波束成形处理后输出。
进一步地,在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号超过阈值时,所述波束成形模块包括:
第一波束成形单元,在所述第三波束方向内对所述强干扰信号进行波束成形处理后得到第一输出信号;
第一滤波单元,以所述第一输出信号为参考信号消除所述音频信号中的所述强干扰信号,得到第二输出信号;
第二波束成形单元,在所述第二波束方向内对所述第二输出信号进行波束成形处理后输出。
进一步地,在所述第二波束方向的范围外存在所述强干扰信号且所述强干扰信号超过阈值时,所述波束成形模块包括:
第三波束成形单元,在所述第三波束方向内对所述强干扰信号进行波束成形处理,得到第三输出信号;
第四波束成形单元,在所述第二波束方向内对所述音频信号进行波束成形处理,得到第四输出信号;
第二滤波单元,以所述第三输出信号为参考信号消除所述第四输出信号中的所述强干扰信号后输出。
本公开的有益效果在于:本公开所述的一种麦克风阵列波束成形的方法及系统,通过麦克风阵列采集音频信号,通过传感器获取座位信号,为确定音频信号的波束方向提供了基础。判断模块由座位信号判断得到座位信号的波束范围,再根据座位信号的波束范围进行判断后得到音频信号的波束方向,最后依据音频信号的波束方向对音频信号进行波束成形处理然后输出。该方法及系统将座位信号作为先验信号,缩小了波束成形方法的波束角度的范围,从而增加了波束成形方法的抗干扰能力。与此同时,以波束成形技术为基础,对波束范围外的强干扰信号进行消除,从而使输出信号更为准确和清晰。
附图说明
图1为本公开方法流程图;
图2为本公开系统示意图;
图3为主座信号的波束方向示意图;
图4为主座信号和副座信号的波束方向并集示意图;
图5为音频信号和强干扰信号的主瓣方向示意图;
图6为本公开实施例一流程图;
图7为本公开实施例二流程图;
图8为本公开实施例三流程图;
图9为本公开实施例四示意图;
图10为本公开实施例示意图;
图11为实施例二波束成形处理的流程图;
图12为实施例三波束成形处理的流程图。
具体实施方式
下面将结合附图对本公开技术方案进行详细说明。在本公开的描述中,需要理解地是,术语“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量,仅用来区分不同的组成部分。
图1为本公开方法流程图,如图1所示,采集音频信号和获取座位信号后,首先对座位信号进行判断以获取座位信号的第一波束范围,根据第一波束范围和音频信号进行判断得到音频信号的第二波束方向,最后根据第二波束方向对音频信号进行波束成形处理并输出。
图2为本公开系统示意图,该系统包括麦克风阵列101、传感器102、判断模块103和波束成形模块104,105为经处理后最终的输出信号,各模块的具体作用参考本公开所述方法,不再赘述。其中判断模块又包括第一判断单元、第二判断单元和第三判断单元,第一判断单元用于根据座位信号进行判断得到第一波束范围,并通过第一波束范围和音频信号判断获取音频信号的第二波束方向;第二判断单元用于在第二波束方向的范围外判断是否存在强干扰信号;第三判断单元用于在存在强干扰信号时,判断强干扰信号是否超过阈值,若超过阈值则获取该强干扰信号的第三波束方向。
另外,麦克风阵列用于采集音频信号,本申请中麦克风阵列的布局方式包括线性阵列、圆形阵列及方形阵列等,本申请中为了简化描述图例中使用的是线性的麦克风阵列。
座位信号作为先验信号,通过传感器获取,通常汽车的主座和副座上都设有传感器。当汽车主座301有人的时候,传感器会把主座信号传送给判断模块,判断模块将位置信息作为算法的先验信号在判断模块中进行处理。若传感器传送的座位信号为主座信号,限定的波束方向的范围302为(θ2-θ1),如图3所示,同时判断模块接收麦克风阵列的音频信号,在(θ2-θ1)的波束方向范围内可以结合其他信息,例如vad(voiceactivitydetection,语音端点检测)和信号能量综合判断,算出音频信号的精确的波束成形方向303(即第二波束方向)。当汽车副座有人的时候,其波束方向的确定与主座相同,不再赘述。
图4表示主座301和副座403同时有人时波束方向的确定情况,传感器将主座信号和副座信号一起传送给判断模块,判断模块则以角度范围(θ2-θ1)401与角度范围(θ4-θ3)402的并集为目标波束方向的范围,结合麦克风阵列的音频数据,算出音频信号的精确的波束成形方向。
另外,判断模块在判断音频信号的波束方向的同时,也可以判断是否存在强干扰信号,如图5所示,如果强干扰信号501的信号过强,在计算音频信号的波束成形的主瓣方向502时,也要同时计算强干扰信号的主瓣方向503,并一起传送给波束成形模块处理。
图6为本公开实施例一流程图,从图6可知,首先检测环境中的声音信号,若没有座位信号,则直接根据麦克风阵列获取的音频信号确定波束方向,并根据波束方向对音频信号进行波束成形处理并输出。
若有座位信号,首先根据座位信号进行判断得到第一波束范围,再通过第一波束范围和麦克风阵列的音频信号判断并获取音频信号的第二波束方向。然后判断在第二波束方向的范围外是否存在强干扰信号,若不存在强干扰信号,则在第二波束方向上对音频信号进行波束成形处理并输出。
若在第二波束方向的范围外存在强干扰信号,判断该强干扰信号是否存在超过阈值,若没有超过阈值,则在第二波束方向上对音频信号进行波束成形处理并输出。若该强干扰信号超过了阈值,获取该强干扰信号的波束方向为第三波束方向,在第二波束方向内消减第三波束方向的强干扰信号。
图7为本公开实施例二流程图,如图7所示,在第二波束方向的范围外存在强干扰信号且该强干扰信号超过阈值时,首先在第三波束方向内对强干扰信号进行波束成形处理后得到第一输出信号,以第一输出信号为参考信号消除音频信号中的强干扰信号,得到第二输出信号,再在第二波束方向内对第二输出信号进行波束成形处理后输出。
实施例二的具体计算过程如图11所示:假设环境中存在声源信号为s0(k)和m个干扰信号为si(k),i=1,...,m,则麦克风阵列接受到的音频信号的数据矢量为:
其中,
对n个麦克风的信号加权求和,获取波束成形的输出yc(k)包括的期望信号和强干扰信号,期望信号可以无失真输出,而强干扰信号会对消以达到增强信号的目的。
不同的波束成形算法还包括其他部分,比如gsc(generalizedside-lobecanceler,广义旁瓣相消器)还会包含一个通过阻塞矩阵构建一个阻塞期望信号的支路,与yc(k)对消加强波束成形效果,这里不做赘述。
子算法601的固定波束成形矩阵把波束成形方向指向范围外最强的干扰信号,这种情况下将这个信号最强的强干扰信号作为期望信号,并通过算法增强该强干扰信号,输出为yl(k),代表m个强干扰信号中信号最强的一个。
通过子算法602对每一路麦克风信号进行滤波,麦克风输入信号作为基本信号xn(k),子算法601的输出yl(k)作为参考信号,用来消除每一路麦克风源信号中的强干扰信号。
以nlms(normalizedleastmeansquare,归一化最小均方算法)处理xn(k)信号为例:
对于nlms算法,其迭代方程为
子算法602的输出通过自适应滤波器(滤波单元)对最强的强干扰信号做了消除,同理也可以对其他方向较强的强干扰信号进行消除。相对于原始信号xn(k),子算法602的输出en(k)消减了信号强度最强方向的干扰;再通过子算法603对所有处理过的麦克风信号en(k),进行波束增强,获取更优的效果。
图8为本公开实施例三流程图,如图8所示,在第二波束方向的范围外存在强干扰信号且该强干扰信号超过阈值时,在第三波束方向内对强干扰信号进行波束成形处理后得到第三输出信号,同时在第二波束方向内对音频信号进行波束成形处理后得到第四输出信号,再以第三输出信号为参考信号消除第四输出信号中的强干扰信号后输出。
实施例三的具体计算过程如图12所示:通过子算法701的固定波束成形矩阵增强第三波束方向的强干扰信号501,同时通过子算法702的固定波束成形矩阵增强第二波束方向的音频信号,最后通过子算法703的自适应滤波器(滤波单元),对子算法702的信号消除第三波束方向的强干扰信号501,和图11的区别是把针对强干扰信号的滤波放在波束成形算法702之后。
图9为本公开实施例四示意图,当在第二波束方向的范围外存在强干扰信号且该强干扰信号超过阈值时,需要对该强干扰信号进行消除。在本实施例中,波束成形模块包括第一波束成形单元、第一滤波单元和第二波束成形单元,第一波束成形单元在第三波束方向内对强干扰信号进行波束成形处理后得到第一输出信号;第一滤波单元以第一输出信号为参考信号消除音频信号中的强干扰信号,得到第二输出信号;第二波束成形单元在第二波束方向内对第二输出信号进行波束成形处理后输出。
同样,为消除强干扰信号对输出音频信号的影响,图10提供了另一种实施方式,图10中,波束成形模块包括第三波束成形单元、第四波束成形单元和第二滤波单元,第三波束成形单元在第三波束方向内对强干扰信号进行波束成形处理,得到第三输出信号;第四波束成形单元在第二波束方向内对音频信号进行波束成形处理,得到第四输出信号;第二滤波单元以第三输出信号为参考信号消除所述第四输出信号中的所述强干扰信号后输出。
以上为本公开示范性实施例,本公开的保护范围由权利要求书及其等效物限定。
起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除