语音识别方法、装置、系统、电子设备和存储介质与流程

本申请涉及计算机技术领域中的语音识别、深度学习技术领域，尤其涉及一种语音识别方法、装置、系统、电子设备和存储介质。

背景技术：

目前，语音识别技术在智能家电、机器人语音交互、车载语音等领域得到了广泛应用，相关技术中的语音识别技术可包括离线语音识别和在线语音识别，离线语音识别的语音字数受限，且仅能识别特定的语音，即离线语音识别的识别范围较窄，在线语音识别需要联网，主芯片承载复杂的语音交互的计算功能，存在响应速度慢、运算量大、成本高等缺点。

技术实现要素：

提供了一种语音识别方法、装置、系统、电子设备和存储介质。

根据第一方面，提供了一种语音识别方法，包括：获取待识别的语音信号；将所述待识别的语音信号输入至训练好的语音识别模型中，其中，所述语音识别模型采用深度学习算法对所述待识别的语音信号进行语音增强和语音识别处理；获取所述语音识别模型输出的识别结果，所述识别结果包括多个预测字的概率分布；以及根据所述识别结果确定所述待识别的语音信号对应的语言文字。

根据第二方面，提供了一种语音识别装置，包括：第一获取模块，用于获取待识别的语音信号；识别模块，用于将所述待识别的语音信号输入至训练好的语音识别模型中，其中，所述语音识别模型采用深度学习算法对所述待识别的语音信号进行语音增强和语音识别处理；第二获取模块，用于获取所述语音识别模型输出的识别结果，所述识别结果包括多个预测字的概率分布；以及确定模块，用于根据所述识别结果确定所述待识别的语音信号对应的语言文字。

根据第三方面，提供了一种语音识别系统，包括：语音处理器，所述语音处理器包括第二方面实施例中的语音识别装置；语音采集器，用于采集待识别的语音信号，并将采集到的所述待识别的语音信号输入至所述语音识别装置；控制接口，所述语音识别装置根据所述待识别的语音信号对应的语言文字，生成对应的控制信号，并将所述控制信号通过所述控制接口输入至对应的电器，以对所述电器进行控制。

根据第四方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的语音识别方法。

根据第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的语音识别方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是根据本申请第一实施例的语音识别方法的流程示意图；

图2是根据本申请第二实施例的语音识别方法中对待识别的语音信号进行语音增强和语音识别处理的流程示意图；

图3是根据本申请第三实施例的语音识别方法中训练好的语音识别模型的获取的流程示意图；

图4是根据本申请第四实施例的语音识别方法的场景示意图；

图5是根据本申请第五实施例的语音识别方法的设备的示意图；

图6是根据本申请第一实施例的语音识别装置的框图；

图7是根据本申请第二实施例的语音识别装置的框图；

图8是根据本申请第一实施例的语音识别系统的框图；

图9是用来实现本申请实施例的语音识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本申请第一实施例的语音识别方法的流程示意图。

如图1所示，本申请第一实施例的语音识别方法包括：

s101，获取待识别的语音信号。

需要说明的是，本申请实施例的语音识别方法的执行主体可为具有数据信息处理能力的硬件设备和/或驱动该硬件设备工作所需必要的软件。可选的，执行主体可包括工作站、服务器，计算机、用户终端及其他设备。其中，用户终端包括但不限于手机、电脑、智能家电、车载终端等。

本公开的实施例中，可在设备上或者设备的周围区域安装语音采集装置，来获取待识别的语音信号，语音采集装置可包括麦克风(microphone)。

例如，可在手机、电脑上安装麦克风阵列(microphonearray)，来获取待识别的语音信号。可以理解的是，此时待识别的语音信号为多路麦克风信号。

s102，将待识别的语音信号输入至训练好的语音识别模型中，其中，语音识别模型采用深度学习算法对待识别的语音信号进行语音增强和语音识别处理。

本公开的实施例中，语音识别模型可根据实际情况进行标定，并预先设置在设备的存储空间中。

由此，该方法通过语音识别模型来进行语音识别，不需要联网，可实现离线语音识别，相较于相关技术中在线语音识别需要联网，主芯片承载复杂的语音交互的计算功能，该方法仅需将语音识别模型设置在次芯片(主芯片以外)上，有助于减轻主芯片的计算压力，以及节省语音交互占用的资源。

进一步地，语音识别模型可采用深度学习算法对待识别的语音信号进行语音增强和语音识别处理。其中，深度学习算法可根据实际情况进行标定，并预先设置在语音识别模型的存储空间中。

可以理解的是，环境中可能存在噪声等其他干扰，且在远场语音识别场景下，声源距离语音采集装置较远(大多为3～5米)，会导致获取的待识别的语音信号中存在大量的噪声等其他干扰，进而影响语音识别效果，为了解决这一问题，可在对待识别的语音信号进行语音识别之前，对待识别的语音信号进行语音增强，以去除待识别的语音信号中的噪声等其他干扰，进而有利于增强语音识别效果。

在具体实施中，对待识别的语音信号进行语音增强，包括但不限于声源定位(soundlocation)、波束成形(beamforming)、回声消除(echocancellation)、噪声抑制(noisecontrol)、去混响(dereverberation)、非线性处理等，这里不做过多限定。

s103，获取语音识别模型输出的识别结果，识别结果包括多个预测字的概率分布。

本公开的实施例中，语音识别模型采用深度学习算法对待识别的语音信号进行语音增强处理后，可继续采用深度学习算法对语音增强处理后的语音信号进行语音识别处理，可得到包括多个预测字的概率分布的识别结果，并将识别结果作为语音识别模型的输出。

可以理解的是，假设某个语音信号包括一个字，则在对该语音信号进行语音识别时，由于有些字的发音比较相似，则可能生成针对该语音信号的多个预测字，以及多个预测字对应的正确概率，即可得到多个预测字的概率分布。

在具体实施中，可采用注意力算法对语音增强处理后的语音信号进行语音识别处理，以得到包括多个预测字的概率分布的识别结果。

s104，根据识别结果确定待识别的语音信号对应的语言文字。

可以理解的是，可将识别结果中的多个预测字按照预设的语法规则进行排列组合，以确定待识别的语音信号对应的语言文字。其中，语法规则可根据实际情况进行标定，并预先设置在设备的存储空间中。

在具体实施中，根据识别结果确定待识别的语音信号对应的语言文字，可包括根据识别结果中多个预测字的概率分布，从多个预测字中选取候选预测字，然后将候选预测字按照预设的语法规则进行排列组合，得到至少一个候选语言文字，之后可从至少一个候选语言文字中确定最终的语言文字。

可选的，从多个预测字中选取候选预测字，可包括从多个预测字中选取概率大于预设概率阈值的候选预测字。其中，预设概率阈值可根据实际情况进行标定，例如可标定为60％，并预先设置在设备的存储空间中。由此，该方法可从多个预测字中筛选出预测正确概率较大的预测字，作为候选预测字，用于生成语言文字，提高了语音识别的准确性。

可选的，从至少一个候选语言文字中确定最终的语言文字，可包括将候选语言文字输入到概率模型中，以获取候选语言文字的识别正确率，将识别正确率最高的候选语言文字确定为最终的语言文字。其中，概率模型可根据实际情况进行标定，例如，可参考用户的行为习惯、时间、季节等因素进行标定，并预先设置在设备的存储空间中。由此，该方法可从多个候选语言文字中筛选出识别正确概率较大的语言文字，作为最终的语言文字，提高了语音识别的准确性。

综上，根据本申请实施例的语音识别方法，能够根据语音识别模型对语音信号进行语音增强和语音识别处理，相较于相关技术中根据多个不同的模型分别对语音信号进行语音增强和语音识别处理，可实现一体化建模和离线语音识别，具有响应速度快、成本低、识别范围广的优点。

在上述任一实施例的基础上，步骤s102中语音识别模型采用深度学习算法对待识别的语音信号进行语音增强和语音识别处理，可包括语音识别模型采用卷积神经网络(convolutionalneuralnetworks，cnn)算法对待识别的语音信号进行语音增强和语音识别处理。

进一步地，如图2所示，语音识别模型采用卷积神经网络算法对待识别的语音信号进行语音增强和语音识别处理，可包括：

s201，获取回声参考信号。

可以理解的是，由于空间、扬声器等原因，待识别的语音信号中可能存在回声，会影响语音识别的准确性。本公开的实施例中，语音识别模型可采用深度学习算法对待识别的语音信号进行回声消除，以消除待识别语音信号中的回声，进而提高语音识别的准确性。

在具体实施中，回声参考信号可为用户的原始语音信号，该原始语音信号中不存在回声。可以理解的是，原始语音信号经过一定的时间和空间传播才形成待识别的语音信号，即原始语音信号和待识别的语音信号之间存在延时。

s202，将回声参考信号输入至语音识别模型中。

s203，语音识别模型对待识别的语音信号和回声参考信号进行自适应滤波处理，得到回声消除后的语音信号。

在具体实施中，语音识别模型可采用自适应算法对待识别的语音信号和回声参考信号进行处理，以生成回声信号，然后从待识别的语音信号中去除回声信号，以实现待识别的语音信号的回声消除。

s204，语音识别模型对回声消除后的语音信号进行多尺度、多层次的特征提取，得到时频特征。

本公开的实施例中，语音识别模型对回声消除后的语音信号进行多尺度、多层次的特征提取，可使得特征提取更为全面、精确。

在具体实施中，语音识别模型中可包括多层网络，例如语音识别模型中可包括多层卷积神经网络，分别用于实现声源定位、波束成形、回声消除、噪声抑制、去混响、非线性处理等语音增强处理，可对每层网络上的语音信号都进行多尺度的特征提取，以得到时频特征。

可选的，语音识别模型还可直接对待识别的语音信号和回声参考信号进行多尺度、多层次的特征提取，且在特征提取的同时保留待识别的语音信号的相位信息。

s205，语音识别模型对时频特征进行深度学习，得到回声消除后的语音信号和预测字之间的对齐关系。

在具体实施中，语音识别模型可采用注意力算法对时频特征进行深度学习，以得到回声消除后的语音信号和预测字之间的对齐关系。其中，注意力算法可根据实际情况进行标定，并预先设置在模型的存储空间中。

s206，语音识别模型根据对齐关系得到识别结果。

在具体实施中，语音识别模型可对回声消除后的语音信号和预测字之间的对齐关系进行解码，以得到包括多个预测字的概率分布的识别结果。

由此，该方法可根据语音识别模型对语音信号和回声参考信号进行自适应滤波处理，以对语音信号进行回声消除，还可对回声消除后的语音信号进行特征提取，并可根据提取到的时频特征对回声消除后的语音信号进行语音识别，得到语音识别结果。

在上述任一实施例的基础上，如图3所示，步骤s102中训练好的语音识别模型的获取，可包括：

s301，将样本语音信号输入至待训练语音识别模型中。

本公开的实施例中，可获取大量的样本语音信号及其对应的实际语言文字，用于训练语音识别模型。

s302，获取待训练语音识别模型输出的样本识别结果。

s303，根据样本识别结果和样本语音信号的实际语言文字对待训练语音识别模型进行训练，得到训练好的语音识别模型。

在具体实施中，样本识别结果和样本语音信号的实际语言文字之间有可能存在较大误差，可根据样本识别结果和实际语言文字之间的误差，对待训练语音识别模型进行训练，直至待训练语音识别模型收敛，或者迭代次数达到预设的迭代次数阈值，或者模型精度达到预设的精度阈值，则可结束模型的训练，进而可得到训练好的语音识别模型。其中，迭代次数阈值、精度阈值可根据实际情况进行标定。

由此，该方法可根据样本语音信号及其对应的实际语言文字来训练语音识别模型。

如图4所示，本公开的一个实施例中，可通过麦克风阵列来采集用户的原始语音信号，麦克风阵列可包括麦克风1、麦克风2直至麦克风n，即可包括n个麦克风，进而可生成多路麦克风信号，可将多路麦克风信号作为待识别的语音信号输入至语音识别模型中，语音识别模型可根据多路麦克风信号和回声参考信号，对多路麦克风信号进行回声消除，还可对多路麦克风信号进行声源定位、波束成形、噪声抑制等语音增强处理，之后可对语音增强处理后的多路麦克风信号进行语音识别，以得到包括多个预测字的概率分布的识别结果，且语音识别模型还可根据识别结果确定多路麦克风信号对应的语言文字。由此，该方法能够根据语音识别模型直接得到语音信号对应的语言文字，可实现一体化建模。

如图5所示，本公开的一个实施例中，设备包括麦克风阵列模块、处理器模块、供电模块、控制接口模块，处理器模块存储有语音识别模型。麦克风阵列模块用于采集用户的原始语音信号，处理器模块中的语音识别模型用于对麦克风阵列模块输出的多路麦克风信号进行处理，得到语音文字，控制接口模块用于设备与外界的连接，供电模块用于给设备供电。图5所示的设备可应用于本公开实施例的语音识别方法，相较于相关技术中的语音识别设备，该设备可实现离线语音识别，不需要安装网络装置，也不需要与服务器进行通信来实现语音识别，开发成本较低。

图6是根据本申请第一实施例的语音识别装置的框图。

如图6所示，本申请实施例的语音识别装置600，包括：第一获取模块601、识别模块602、第二获取模块603、确定模块604。

第一获取模块601用于获取待识别的语音信号。

识别模块602用于将所述待识别的语音信号输入至训练好的语音识别模型中，其中，所述语音识别模型采用深度学习算法对所述待识别的语音信号进行语音增强和语音识别处理。

第二获取模块603用于获取所述语音识别模型输出的识别结果，所述识别结果包括多个预测字的概率分布。

确定模块604用于根据所述识别结果确定所述待识别的语音信号对应的语言文字。

在本申请的一个实施例中，所述识别模块602进一步用于所述语音识别模型采用卷积神经网络算法对所述待识别的语音信号进行语音增强和语音识别处理。

在本申请的一个实施例中，所述识别模块602进一步用于获取回声参考信号；将所述回声参考信号输入至所述语音识别模型中；所述语音识别模型对所述待识别的语音信号和所述回声参考信号进行自适应滤波处理，得到回声消除后的语音信号；所述语音识别模型对所述回声消除后的语音信号进行多尺度、多层次的特征提取，得到时频特征；所述语音识别模型对所述时频特征进行深度学习，得到所述回声消除后的语音信号和预测字之间的对齐关系；以及所述语音识别模型根据所述对齐关系得到所述识别结果。

在本申请的一个实施例中，如图7所示，所述语音识别装置600还包括：模型训练模块605，所述模型训练模块605用于将样本语音信号输入至待训练语音识别模型中；获取所述待训练语音识别模型输出的样本识别结果；以及根据所述样本识别结果和所述样本语音信号的实际语言文字对所述待训练语音识别模型进行训练，得到所述训练好的语音识别模型。

根据本申请实施例的语音识别装置，能够根据语音识别模型对语音信号进行语音增强和语音识别处理，相较于相关技术中根据多个不同的模型分别对语音信号进行语音增强和语音识别处理，可实现一体化建模和离线语音识别，具有响应速度快、成本低、识别范围广的优点。

图8是根据本申请第一实施例的语音识别系统的框图。

如图8所示，本申请实施例的语音识别系统700，包括：语音处理器701、语音采集器702、控制接口703。

语音处理器701包括上述实施例中的语音识别装置600。

语音采集器702用于采集待识别的语音信号，并将采集到的待识别的语音信号输入至语音识别装置600。语音采集器702具体可以为麦克风阵列。

语音识别装置600根据待识别的语音信号对应的语言文字，生成对应的控制信号，并将控制信号通过控制接口703输入至对应的电器(图中未示出)，以对电器进行控制。

本公开的实施例中，电器包括但不限于智能家电、手机、电脑等，智能家电包括但不限于智能灯、智能空调、智能微波炉等，这里不做过多限定。

举例而言，若控制接口703与智能灯连接，待识别的语音信号对应的语言文字为“开灯”，则语音识别装置600可生成“开启智能灯的开关”的控制信号，并将“开启智能灯的开关”的控制信号通过控制接口703输入至智能灯，以开启智能灯。

根据本申请实施例的语音识别系统，能够根据语音识别模型对语音信号进行语音增强和语音识别处理，相较于相关技术中根据多个不同的模型分别对语音信号进行语音增强和语音识别处理，可实现一体化建模和离线语音识别，具有响应速度快、成本低、识别范围广的优点。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图9所示，是根据本申请实施例的语音识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图9所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器801可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图9中以一个处理器801为例。

存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的语音识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的语音识别方法。

存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的语音识别方法对应的程序指令/模块(例如，附图6所示的第一获取模块601、识别模块602、第二获取模块603、确定模块604)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的语音识别方法。

存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据语音识别方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至语音识别方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

语音识别方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图9中以通过总线连接为例。

输入装置803可接收输入的数字或字符信息，以及产生与语音识别方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请实施例的技术方案，能够根据语音识别模型对语音信号进行语音增强和语音识别处理，相较于相关技术中根据多个不同的模型分别对语音信号进行语音增强和语音识别处理，可实现一体化建模和离线语音识别，具有响应速度快、成本低、识别范围广的优点。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除