一种神经网络子带建模的单通道语音增强方法、系统及存储介质与流程

本发明涉及数据处理领域，尤其涉及一种神经网络子带建模的单通道语音增强方法、系统及存储介质。

背景技术：

目前，市场上的一系列语音类电子产品中，如通讯类产品、人机交互类产品都会受到各式各样噪声干扰的影响。嘈杂的背景噪声不仅会影响人与人之间交流通讯的质量，也会给人机交互带来很大的挑战。例如，对于智能音箱、智能电视、车载设备等语音交互类的电子设备而言，语音识别是不可或缺的技术，并且在安静环境下语音识别的准确率已经完全可以满足人们使用的要求。但是，当有一定的背景噪声存在时，机器的识别准确率就会受到很大的影响。因此，需要使用语音增强技术进行语音信号的降噪处理，减轻干扰噪声的影响，提高语音的质量，使机器能够在复杂的声学环境中也能实现较高的识别准确率。此外，对于一些对降噪和时延都有严格要求的语音产品，如助听器、对讲机、耳返等，语音增强算法不仅要保证较好的降噪效果，还要具备低运算量、低延时的特点。

技术实现要素：

本发明提供了一种神经网络子带建模的单通道语音增强方法，包括执行以下步骤：

步骤1：采集带噪语音信号，并发送给对数功率谱提取模块和巴克倒谱系数提取模块；

步骤2：采用对数功率谱提取模块和巴克倒谱系数提取模块接收步骤1的带噪语音信号，再由对数功率谱提取模块和巴克倒谱系数提取模块对带噪语音信号进行特征提取，最后将提取的特征发送给频带特征划分模块；

步骤3：采用频带特征划分模块接收步骤2提取的特征，再由频带特征划分模块对提取的特征进行子带特征的分配，并将每个子频带上的特征输入到各自对应的神经网络映射模块进行先验信噪比的估计，最后组合所有子带上估计的先验信噪比，发送给全频带维纳滤波模块；

步骤4：采用全频带维纳滤波模块接收和处理步骤3的所有子带上估计的先验信噪比，得到了增强后的语音信号。

作为本发明的进一步改进，在所述步骤2中，所述对数功率谱特征提取模块对带噪语音信号进行特征提取还包括执行以下步骤：

第一步骤：对麦克风采集到的语音信号x(n)进行分帧加窗的预处理；

第二步骤：进行快速傅里叶变换得到信号的频谱，并求取频域的功率谱s2(k)；

第三步骤：进行自然对数运算；

第四步骤：对功率谱进行对数域压缩，便得到了提取的对数功率谱特征ylog(k)，如下式(1)所示：

ylog(k)＝ln(s²(k)),k＝1,2,...,n(1)

其中，k为频率索引，n为一帧语音信号的帧长，在该单通道语音增强方法中，采用16khz的采样率，每帧帧长16ms，帧移8ms，n为129。

作为本发明的进一步改进，在所述步骤2中，所述巴克倒谱系数提取模块对带噪语音信号进行特征提取还包括执行以下步骤：

步骤s1：对输入的语音信号x(n)进行分帧加窗的预处理；

步骤s2：进行快速傅里叶变换将数据由时域变换到频域；

步骤s3：计算出频域功率谱s2(k)；

步骤s4：将计算得到的频域功率谱s2(k)经过巴克滤波器，计算出滤波后的能量谱，如式(2)所示：

其中，b为巴克能量谱的阶数索引，b为巴克滤波器的个数，这里取24，每一个滤波器都对应着一个巴克域的频带，bark频率滤波器的传递函数表达式如下式(3)所示：

步骤s5：对每帧的巴克能量谱取对数，并作离散余弦变换(dct)，如式(4)所示，就得到了巴克倒谱系数特征，

其中，ybark(n)为提取的bfcc特征，n为特征的频带索引，特征的维度与巴克滤波器的个数一致，取24维。

作为本发明的进一步改进，在所述步骤3中，所述频带特征划分模块还包括依次执行以下步骤：

子带划分步骤：将0-8000hz的频域范围划分成8个子带，并根据每个子带对应的lps特征和bfcc特征个数的不同分别给出了不同子带上特征的索引；

特征拼接步骤：将每个子带上的lps和bfcc特征拼接起来分别送到各自的神经网络映射模块进行先验信噪比的估计。

作为本发明的进一步改进，在所述步骤3中，所述神经网络映射模块包括5层神经层，其中第一层和最后一层均为前馈神经网络层，中间的三层为gru神经层，前馈神经网络层中以全连接的方式进行加权求和，并进行非线性激活，如下式(5)所示：

h＝g(w·x+b)(5)

其中，w和b分别是神经元的权重和偏置，h代表前馈神经网络层的输出，x为前馈神经网络层的输入，g(·)代表非线性的激活运算，这里的前馈神经网络层1采用relu激活函数，而前馈神经网络层2需要进行先验信噪比的估计，所以不进行激活操作，只进行线性加权求和。

作为本发明的进一步改进，所述神经网络映射模块gru层中的记忆更新机理具体如下：

gru单元将当前帧输入的特征xt与之前保留的上一帧的输出ht-1进行组合，经过更新门和重置门的处理，产生一个当前帧的输出ht，如此反复一直迭代下去，各个门以及输出的计算式如下，

rt＝σ(wr·[ht-1,xt])(6)

zt＝σ(wz·[ht-1,xt])(7)

其中σ(·)和tanh(·)分别代表sigmoid激活函数和双曲正切激活函数，rt表示当前帧更新门的输出，zt表示当前帧遗忘门的输出。

作为本发明的进一步改进，在所述步骤3中，经所述神经网络映射模块估计出的各子带上的先验信噪比值进行组合得到129维输出。

作为本发明的进一步改进，在所述步骤4中，所述全频带维纳滤波模块还包括执行以下步骤：

步骤y1：计算出用于滤波的增益函数，表达形式如下式(10)所示：

其中，为神经网络映射模输出的先验信噪比值；

步骤y2：利用估计的增益函数对输入的带噪语音进行滤波，最后进行反傅里叶变换，得到降噪后的语音信号公式如下：

公式(11)为维纳滤波的频域滤波过程，其中s(k)为输入的带噪语音信号的频谱，n为每一帧的频点个数，这里取129，为增强后的语音信号频谱，进行公式(12)中的反傅里叶变换就得到了最后的时域信号输出

本发明还公开了一种神经网络子带建模的单通道语音增强系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的单通道语音增强方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的单通道语音增强方法的步骤。

本发明的有益效果是：1.本发明的单通道语音增强方法对语音信号的各子频带进行单独的神经网络建模，降低了神经网络的任务难度，减少了模型的参数，实现了较低的算法复杂度；2.本发明的单通道语音增强方法采用神经网络模型进行信号的先验信噪比估计，再结合传统滤波的方法进行降噪，有效地提高了神经网络降噪算法的泛化能力；3.本发明的单通道语音增强方法针对每个子带单独训练的神经网络模型，映射精度更高，可以实现更好的语音降噪效果。

附图说明

图1是本发明单通道语音增强方法原理框图；

图2是本发明单通道语音增强方法对数功率特征的提取原理框图；

图3是本发明单通道语音增强方法bfcc特征的提取原理框图；

图4是本发明单通道语音增强方法神经网络映射模块各子带的结构图；

图5是本发明单通道语音增强方法gru层中的记忆更新原理框图。

具体实施方式

如图1所示，本发明公开了一种神经网络子带建模的单通道语音增强方法，该单通道语音增强方法以神经网络模型为基础，利用对数功率谱特征(logpowerspectrum,lps)和巴克倒谱系数特征(bark-frequencycepstralcoefficients,bfcc)对目标语音的先验信噪比进行估计，并与维纳滤波方法相结合，实现了降噪效果与运算复杂度的良好折衷。该单通道语音增强方法包括执行以下步骤：

步骤1：由单个麦克风采集带噪语音信号，并发送给对数功率谱提取模块和巴克倒谱系数提取模块；

步骤2：采用对数功率谱提取模块和巴克倒谱系数提取模块接收步骤1的带噪语音信号，再由对数功率谱提取模块和巴克倒谱系数提取模块对带噪语音信号进行特征提取，最后将提取的特征发送给频带特征划分模块；

步骤3：采用频带特征划分模块接收步骤2提取的特征，再由频带特征划分模块对提取的两组特征进行子带特征的分配，并将每个子频带上的特征输入到各自对应的神经网络映射模块进行先验信噪比的估计，最后组合所有子带上估计的先验信噪比，发送给全频带维纳滤波模块；

步骤4：采用全频带维纳滤波模块接收和处理步骤3的所有子带上估计的先验信噪比，得到了增强后的语音信号。

本发明的单通道语音增强方法中，我们挑选了aishell中文数据集[1]中4800句话(24男24女，每人说100句话)作为训练集的纯净语音数据，然后与freesound网站[2]上挑选出的100种不同的噪声类型，进行随机混合，混合的信噪比符合区间范围为[-5,20]的均匀分布，总共获得带噪训练数据时长约为100个小时。随后，提取出各子带的bfcc特征和对数功率谱特征，并构建出它们对应的理想先验信噪比值，然后采用反向传播算法对各个神经网络进行训练，并从所有训练数据中划分出10％作为验证集，当训练集和验证集上的损失最小时保存模型，便得到了不同子频带对应的神经网络映射模型。以上便是对整个单通道语音增强方法的处理流程和神经网络模型的训练过程，接下来将对各个关键模块进行详细介绍。

如图2所示，在所述步骤2中，所述对数功率谱特征提取模块，用来提取语音信号的频域对数功率特征，所述数功率谱特征提取模块对带噪语音信号进行特征提取还包括执行以下步骤：

第一步骤：对麦克风采集到的语音信号x(n)进行分帧加窗的预处理；

第二步骤：进行快速傅里叶变换(fft)得到信号的频谱，并求取频域的功率谱s2(k)；

第三步骤：进行自然对数运算；

第四步骤：对功率谱进行对数域压缩，便得到了提取的对数功率谱特征ylog(k)，如下式(1)所示：

ylog(k)＝ln(s²(k)),k＝1,2,...,n(1)

其中，k为频率索引，n为一帧语音信号的帧长，在该单通道语音增强方法中，采用16khz的采样率，每帧帧长16ms，帧移8ms，因此n为129。

如图3所示，在所述步骤2中，所述巴克倒谱系数特征提取模块，以bark尺度在频域进行特征提取，模拟了人类听觉系统对声音的掩蔽效应，并且充分利用了人耳对声音信号的低频分辨率高于其对高频分辨率的特性，提取出了一种非常接近人类主观感受的频谱特征。所述巴克倒谱系数提取模块对带噪语音信号进行特征提取还包括执行以下步骤：

步骤s1：对输入的语音信号x(n)进行分帧加窗的预处理；

步骤s2：进行快速傅里叶变换将数据由时域变换到频域；

步骤s3：计算出频域功率谱s2(k)；

步骤s4：将计算得到的频域功率谱s2(k)经过巴克滤波器，计算出滤波后的能量谱，如式(2)所示：

其中，b为巴克能量谱的阶数索引，b为巴克滤波器的个数，这里取24，每一个滤波器都对应着一个巴克域的频带，bark频率滤波器的传递函数表达式如下式(3)所示：

步骤s5：对每帧的巴克能量谱取对数，并作离散余弦变换(dct)，如式(4)所示，就得到了巴克倒谱系数特征，

其中，ybark(n)为提取的bfcc特征，n为特征的频带索引，特征的维度与巴克滤波器的个数一致，取24维。

在所述步骤3中，所述频带特征划分模块，将对提取的每帧信号的巴克倒谱系数特征和对数功率谱特征进行子带的划分，每个子带只包含其频率范围内的bfcc特征和lps特征，如表1所示。

表1频域子带的特征分配

所述频带特征划分模块还包括依次执行以下步骤：

子带划分步骤：将0-8000hz的频域范围划分成8个子带，并且考虑到大部分语音信号集中在低频范围，因此对低频的子带划分的更细。此外，根据每个子带对应的lps特征和bfcc特征个数的不同分别给出了不同子带上特征的索引，如表1所示；

特征拼接步骤：将每个子带上的lps和bfcc特征拼接起来分别送到各自的神经网络映射模块进行先验信噪比的估计。

在所述步骤3中，所述神经网络映射模块，对每个子带特征进行建模，定制了应用于不同子带的专用降噪模型。考虑到语音信号的时序相关特性，在所述神经网络映射模块中以门控递归神经单元(gatedrecurrentunit,gru)为基础，构建具备映射先验信噪比能力的模型。

如图4所示，经过子带划分模块的分配以后，将各子带的特征输入到所设计的神经网络结构中，进行先验信噪比的估计。所述神经网络映射模块包括5层神经层，其中第一层和最后一层均为前馈神经网络层，中间的三层为gru神经层，前馈神经网络层中以全连接的方式进行加权求和，并进行非线性激活，如下式(5)所示：

h＝g(w·x+b)(5)

其中，w和b分别是神经元的权重和偏置，h代表前馈神经网络层的输出，x为前馈神经网络层的输入，g(·)代表非线性的激活运算，这里的前馈神经网络层1采用relu激活函数，而前馈神经网络层2需要进行先验信噪比的估计，所以不进行激活操作，只进行线性加权求和。

如图5所示，所述神经网络映射模块gru层中的记忆更新机理具体如下：

gru单元将当前帧输入的特征xt与之前保留的上一帧的输出ht-1进行组合，经过更新门和重置门的处理，产生一个当前帧的输出ht，如此反复一直迭代下去，各个门以及输出的计算式如下，

rt＝σ(wr·[ht-1,xt])(6)

zt＝σ(wz·[ht-1,xt])(7)

其中σ(·)和tanh(·)分别代表sigmoid激活函数和双曲正切激活函数，rt表示当前帧更新门的输出，zt表示当前帧遗忘门的输出。

另外，由于每个子带上的特征数量不同，虽然每个子带上的神经网络结构是一样的，但是考虑到每个子带的任务难度不同，所以每个子带所对应的神经网络模型的神经元个数是不同的，如下表2所示。

表2不同子带神经网络模块的神经元配置

在所述步骤3中，经所述神经网络映射模块估计出的各子带上的先验信噪比值进行组合得到129维输出。

在所述步骤4中，所述全频带维纳滤波模块还包括执行以下步骤：

步骤y1：计算出用于滤波的增益函数，表达形式如下式(10)所示：

其中，为神经网络映射模输出的先验信噪比值；

步骤y2：利用估计的增益函数对输入的带噪语音进行滤波，最后进行反傅里叶变换，就得到了降噪后的语音信号公式如下：

公式(11)为维纳滤波的频域滤波过程，其中s(k)为输入的带噪语音信号的频谱，n为每一帧的频点个数，这里取129，为增强后的语音信号频谱，进行如公式(12)中的反傅里叶变换就得到了最后的时域信号输出

本发明的有益效果是：1.本发明的单通道语音增强方法对语音信号的各子频带进行单独的神经网络建模，降低了神经网络的任务难度，减少了模型的参数，实现了较低的算法复杂度；2.本发明的单通道语音增强方法采用神经网络模型进行信号的先验信噪比估计，再结合传统滤波的方法进行降噪，有效地提高了神经网络降噪算法的泛化能力；3.本发明的单通道语音增强方法针对每个子带单独训练的神经网络模型，映射精度更高，可以实现更好的语音降噪效果。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除