语音处理方法、装置、计算机可读存储介质及电子设备与流程

本公开涉及人工智能
技术领域：
，具体而言，涉及一种语音处理方法、语音处理装置、计算机可读存储介质及电子设备。
背景技术：
：随着人工智能的发展，语音识别技术成为其中的一个重要分支，语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或命令的技术，目前广泛应用于工业、家电、通信、汽车电子、医疗、家庭服务、消费电子产品等各个领域。在进行语音识别时，通常采用dfsmn（deepfeedforwardsequentialmemorynetworks，深层前馈序列记忆神经网络）作为声学模型对语音信号进行处理，以获取与语音信号对应的音素。虽然目前所采用的dfsmn相比于blstm，在参数量更少的情况下能够提高语音识别的准确率，但是在现有的dfsmn结构中，层间的跳层连接作用在记忆单元之间，虽然能够在一定程度上缓解梯度消失的问题，但是存在梯度爆炸的问题；另外，现有的dfsmn中通过向量点乘累加的方式表示当前时刻的记忆单元跟历史和未来时刻的记忆单元的关系，但是没有办法刻画其它不同时刻之间的相互关系。需要说明的是，在上述
背景技术：
部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：本公开的实施例提供了一种语音处理方法和语音处理装置，进而至少在一定程度上可以提高语音识别的效率和精准度。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开实施例的一个方面，提供了一种语音处理方法，包括：获取与语音信号对应的多个语音特征信息；将所述语音特征信息输入至声学模型，通过所述声学模型对各所述语音特征信息进行特征提取，以获取与各所述语音特征信息对应的状态信息，所述声学模型具有隐层跳层连接结构和基于卷积神经网络的记忆单元；根据与各所述语音特征信息对应的状态信息确定与所述语音信号对应的文本信息。根据本公开实施例的一个方面，提供了一种语音处理装置，包括：信息获取模块，用于获取与语音信号对应的多个语音特征信息；声学处理模块，用于将所述语音特征信息输入至声学模型，通过所述声学模型对各所述语音特征信息进行特征提取，以获取与各所述语音特征信息对应的状态信息，所述声学模型具有隐层跳层连接结构和基于卷积神经网络的记忆单元；文本确定模块，用于根据与各所述语音特征信息对应的状态信息确定与所述语音信号对应的文本信息。在本公开的一些实施例中，基于前述方案，所述信息获取模块配置为：对所述语音信号进行语音端点检测，并根据检测结果对所述语音信号进行切分，以获取多个语音帧；对各所述语音帧进行特征提取，以获取与各所述语音帧对应的语音特征信息。在本公开的一些实施例中，所述声学模型包括dfsmn子模型；基于前述方案，所述声学处理模块包括：声学处理单元，用于通过所述dfsmn子模型对所述语音特征信息进行特征提取，以获取与所述语音特征信息对应的状态信息。在本公开的一些实施例中，所述dfsmn子模型包括多级声学特征提取结构，各级所述声学特征提取结构中的隐藏层跳层连接，且各级所述声学特征提取结构包括所述基于卷积神经网络的记忆单元；基于前述方案，所述声学处理单元包括：第一处理单元，用于通过第n级声学特征提取结构对当前时刻的第n级隐层信息进行投影以获取第n级低维投影信息，并根据所述第n级低维投影信息确定第n级记忆信息；第二处理单元，用于通过第n+1级声学特征提取结构中的隐藏层根据所述第n级隐层信息和所述第n级记忆信息确定第n+1级隐层信息；循环单元，用于重复以上步骤，直至获取目标隐层信息，并对所述目标隐层信息进行转换以获取与所述语音特征信息对应的状态信息；其中，n为正整数，当n=1时，第1级隐层信息是根据第一权重对所述语音特征信息进行转换得到的。在本公开的一些实施例中，基于前述方案，所述第一处理单元包括：投影信息获取单元，用于通过所述低维投影网络层根据与第n级声学特征提取结构对应的投影转换矩阵和偏置矩阵对所述当前时刻的第n级隐层信息进行投影，以获取所述第n级低维投影信息；记忆信息获取单元，用于通过所述记忆单元对所述第n级低维投影信息、与所述当前时刻对应的历史时刻的低维投影信息和与所述当前时刻对应的未来时刻的低维投影信息进行处理，以获取所述第n级记忆信息。在本公开的一些实施例中，基于前述方案，所述第二处理单元配置为：根据与第n级声学特征提取结构对应的记忆转换矩阵和与第n+1级声学特征提取结构对应的偏置矩阵对所述第n级记忆信息进行处理，以获取第一特征信息；对所述第一特征信息进行非线性变换处理，以获取第二特征信息；根据预设系数对所述第n级隐层信息进行处理，以获取第三特征信息；将所述第二特征信息与所述第三特征信息相加，以获取所述第n+1级隐层信息。在本公开的一些实施例中，基于前述方案，所述记忆信息获取单元配置为：通过所述记忆单元中的卷积神经网络对所述第n级低维投影信息、所述历史时刻的低维投影信息和所述未来时刻的低维投影信息进行特征提取，以获取目标特征信息；将所述第n级低维投影信息与所述目标特征信息相加，以获取所述第n级记忆信息。在本公开的一些实施例中，基于前述方案，所述循环单元配置为：根据第二权重对所述目标隐层信息进行转换，以获取与所述语音特征信息对应的状态信息。在本公开的一些实施例中，所述声学模型还包括信息增强层和卷积神经网络层；基于前述方案，所述语音处理装置还配置为：在对各所述语音特征信息进行特征提取之前，通过所述信息增强层对所述语音特征信息进行增强处理，并通过所述卷积神经网络层对增强处理后的语音特征信息进行特征提取。在本公开的一些实施例中，基于前述方案，所述语音处理装置还配置为：在对所述语音信号进行语音端点检测之前，对所述语音信号进行清洁处理，以获取清洁语音信号。在本公开的一些实施例中，基于前述方案，所述语音处理装置还包括：样本获取模块，用于获取语音信号样本和与所述语音信号样本对应的标注状态信息；模型训练模块，用于根据所述语音信号样本和所述标注状态信息对待训练声学模型进行训练，以获取所述声学模型。在本公开的一些实施例中，基于前述方案，所述模型训练模块配置为：通过所述待训练声学模型对所述语音信号样本进行预处理和特征提取，以获取状态预测信息；基于lfmmi准则、所述状态预测信息和所述标注状态信息对所述待训练声学模型的参数进行优化。根据本公开实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述语音处理方法。根据本公开实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述的语音处理方法。在本公开的一些实施例所提供的技术方案中，首先获取与语音信号对应的多个语音特征信息；接着通过声学模型对语音特征信息进行特征提取，以获取与语音特征信息对应的状态信息；最后根据与语音信号对应的状态信息能够确定与语音信号对应的文本信息。其中声学模型包含dfsmn子模型，该dfsmn子模型具有隐层跳层连接结构和基于神经网络的记忆单元。本公开的技术方案一方面能够将记忆单元之间的跳层连接转换为隐层跳层连接，避免了梯度爆炸，提高了声学模型的性能，进而提高了语音识别的精准度；另一方面能够通过基于卷积神经网络的记忆单元获取不同时刻之间记忆单元的相互作用关系，使得声学模型能够获取更细腻的特征信息，并且可以避免参数量的大幅增加，同时也进一步提高了声学模型的性能。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。图2示意性示出了相关技术中的dfsmn模型的结构示意图。图3示意性示出了根据本公开的一个实施例的语音处理方法的流程示意图。图4示意性示出了根据本公开的一个实施例的获取与语音特征信息对应的状态信息的流程示意图。图5示意性示出了根据本公开的一个实施例的获取第n+1级隐层信息的流程示意图。图6示意性示出了根据本公开的一个实施例的一种dfsmn子模型的结构示意图。图7示意性示出了根据本公开的一个实施例的声学模型的结构示意图。图8示意性示出了根据本公开的一个实施例的语音处理装置的框架示意图。图9示出了适于用来实现本公开实施例的语音处理装置的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。如图1所示，系统架构100可以包括具有语音信号收集模块的终端设备101、网络102以及服务器103。其中，上述具有语音信号收集模块的终端设备101可以是手机、便携式计算机、平板电脑、耳麦、麦克风等终端设备；网络102用以在终端设备101和服务器103之间提供通信链路的介质，网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等，在本公开实施例中，终端设备101和服务器103之间的网络102可以是无线通信链路，具体地可以是移动网络。应该理解，图1中的具有语音信号收集模块的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的具有语音信号收集模块的终端、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等，可用于存储与语音处理相关的信息。在本公开的一个实施例中，用户朝向具有语音信号收集模块的终端设备101发送语音，终端设备101中的语音信号收集模块能够收集用户的语音信号，在获取语音信号后，终端设备101可以对语音信号进行前端处理，然后将处理后的语音信号通过网络102发送至服务器103，其中对语音信号的前端处理具体包括语音信号的降噪、声源定位、回声消除等处理。服务器103在接收到语音信号后，可以对语音信号进行语音识别和语义理解，以获取用户的意图，例如用户在车联网系统中通过输入语音发送指令，以使车联网系统根据用户指令确定路线、播放音乐、查询天气等等。在对语音信号进行语音识别时，主要通过设置于服务器103中的语音识别模型对语音信号进行特征提取，以将语音信号转化为文本信息。语音识别模型包括声学模型、语言模型、词典和解码器，其中声学模型是对语音信号到对应发音单元的映射关系进行建模，语言模型和词典是对发音单元到汉字的映射关系进行建模，解码器是结合声学模型、语言模型、词典进行语音到文字的整个搜索过程。在本公开的实施例中，采用改进的声学模型对语音信号进行处理，以获取与语音信号对应的状态信息，改进的声学模型包括dfsmn子模型，同时该dfsmn子模型具有隐层跳层连接结构和基于卷积神经网络的记忆单元，不同于现有的dfsmn中记忆单元之间的跳层连接，在模型训练时既避免了梯度消失还避免了梯度爆炸，另外记忆单元中的卷积神经网络可以对当前时刻的低维投影信息、历史时刻的低维投影信息和未来时刻的低维投影信息进行特征提取，获取任意时刻之间的相互关系，避免了模型参数量的大幅增加，并提高了模型性能。需要说明的是，本公开实施例所提供的语音处理方法一般由服务器执行，相应地，语音处理装置一般设置于服务器中。但是，在本公开的其它实施例中，也可以由终端设备执行本公开实施例所提供的语音处理方案。相关技术中，通常采用dfsmn模型结构作为声学模型中的神经网络结构，图2示出了一种常规dfsmn模型的结构示意图，如图2所示，常规dfsmn模型200包括输入层201，三级声音特征提取结构202、203、204，目标隐藏层205和输出层206，各级声音特征提取结构包括隐藏层、低维投影网络层和记忆单元，并且相邻两级的声音特征提取结构中的记忆单元之间跳层连接，也就是低层记忆单元的输出会被直接累加到高层记忆单元里。这样在训练过程中，高层记忆单元的梯度会直接赋值给低层的记忆单元，从而可以克服由于网络的深度造成的梯度消失问题，使得可以稳定地训练深层的网络。但是由于记忆单元的维度比较小，同时缺失激活函数的约束，虽然在一定程度上可以缓解梯度消失的问题，但是存在梯度爆炸的问题；另外前馈序列的计算当前时刻的记忆单元跟历史时刻和未来时刻的记忆单元有关，这里的关系使用向量点乘和累加的方式来实现，主要强调当前时刻跟其它时刻之间的相互关系，没有办法刻画其它不同时刻之间的相互关系。鉴于相关技术中存在的问题，本公开实施例提供了一种语音处理方法，该语音处理方法是基于机器学习实现的，机器学习属于人工智能的一种，人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。本公开实施例提供的方案涉及人工智能的语音处理技术，具体通过如下实施例进行说明：本公开实施例首先提出了一种语音处理方法，以下对本公开实施例的技术方案的实现细节进行详细阐述：图3示意性示出了根据本公开的一个实施例的语音处理方法的流程图，该语音处理方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图3所示，该语音处理方法至少包括步骤s310至步骤s330，详细介绍如下：在步骤s310中，获取与语音信号对应的多个语音特征信息。在本公开的一个实施例中，用户可以朝着具有语音收集模块的终端设备发出语音，通过该语音收集模块收集用户的语音信号，另外还可以通过下载音频文件的方式获取语音信号，等等。声音其实是一种波，因此语音信号可以被存储为一个波形文件，例如wav文件，该波形文件中包含文件头和用于表征语音的信号。在获取语音信号后，可以对语音信号进行语音识别，以获取与其对应的文字信息。在对语音信号进行语音识别时，可以对语音信号进行预处理，以获取声学模型可识别的语音特征信息，进而通过声学模型对语音特征信息进行处理，获取与语音信号对应的状态信息。该状态信息具体为语音信号对应的音素的分布信息，音素是根据语音的自然属性划分出来的最小语音单位，对于汉语而言，音节在语音学上指由一个或数个音素组成的语音结构基本单位，而音素是最小的语音单位，如“普通话”，由三个音节组成，可以分解成“p,u,t,o,ng,h,u,a”八个音素；对于英语而言，英语国际音标共有48个音素，其中元音音素20个、辅音音素28个。在本公开的实施例中，为了获取与语音信号对应的语音特征信息，首先可以对语音信号进行语音端点检测，并根据检测结果对语音信号进行切分，以获取多个语音帧；接着对各语音帧进行特征提取，以获取与各语音帧对应的语音特征信息。在上述过程中，由于语音信号在首尾部通常会存在静音，为了提高语音识别效率和识别效果，可以通过对语音信号进行语音端点检测以去除语音信号中的静音部分，只保留有实质内容的语音信号，再对其进行语音识别即可。在获取不存在静音部分的语音信号后，可以通过语音分帧的方法把语音分成一小段一小段，每一小段称为一帧，在分帧的过程中，可以根据移动窗函数以预设帧长和预设帧移进行划分，例如预设帧长可以设定为20ms，预设帧移可以设定为10ms，通过分帧可以将语音信号切分为多个长度为20ms的语音帧，并且相邻语音帧之间存在交叠。考虑到语音帧依然还是波形的形式，在时域上几乎没有描述能力，因此需要将语音帧的波形进行变换，例如可以通过提取语音帧的pncc特征或者mfcc特征把每一个语音帧的波形转换为多维向量，该多维向量包含对应语音帧的内容信息，记为语音特征信息，也就是说，通过对每个语音帧进行特征提取，可以获取与各个语音帧对应的语音特征信息。在本公开的一个实施例中，为了提高语音识别的精准度，在获取语音信号，对语音信息进行语音端点检测之前，还可以对语音信号进行清洁处理，以获取清洁语音信号。具体地，可以对语音信号进行降噪、声源定位、回声消除等处理，其中对语音信号进行降噪可以通过采用lms自适应滤波器、自适应陷波器、维纳滤波算法等方式对语音信号进行降噪，去除语音信号中的噪音；声源定位是判断声源的位置，包括对声源水平方位、垂直方位及声源与听者距离的识别，通常可以采用基于麦克风阵列声源定位方法、基于双耳听觉机理声源定位方法和基于光学传感方式声源定位方法进行声源定位；回声消除包括电路回声的消除和声学回声的消除，可以采用回波抵消方法进行回声消除，也就是通过自适应方法估计回波信号的大小，然后在接收信号中减去此估计值以抵消回波。通过对语音信号进行降噪、声源定位、回声消除等处理后，即可获得清洁语音信号，通过对该清洁语音信号进行语音识别，以获取与语音信号对应的文字信息。在步骤s320中，将所述语音特征信息输入至声学模型，通过所述声学模型对各所述语音特征信息进行特征提取，以获取与各所述语音特征信息对应的状态信息，所述声学模型具有隐层跳层连接结构和基于卷积神经网络的记忆单元。在本公开的一个实施例中，在获取各语音帧的语音特征信息后，可以将语音特征信息输入至声学模型中进行特征提取，获取与各语音特征信息对应的状态信息，进一步地，根据各个语音帧的状态信息即可确定与语音信号对应的音节信息。在本公开的一个实施例中，声学模型包括dfsmn子模型，用于对语音特征信息进行特征提取，以输出状态信息。该dfsmn子模型不同于常规的dfsmn模型，其具有隐层跳层连接结构和基于神经网络的记忆单元，通过在隐层之间设置跳层连接结构可以在模型训练过程中避免梯度爆炸，提高模型的稳定性，同时通过采用卷积神经网络的记忆单元对当前时刻的低维投影信息、历史时刻的低维投影信息和未来时刻的低维投影信息进行特征提取，能够获取语音信号中上下文之间的关系，该上下文之间的关系不仅限于当前时刻和历史时刻及未来时刻之间的关系，还包括其它不同时刻之间的相互关系。在本公开的一个实施例中，dfsmn子模型也包括多级声学特征提取结构，在对语音特征信息进行特征提取以获取对应的状态信息时，可以首先通过各级声学特征提取网络结构依次对语音特征信息进行处理，以获取目标隐层信息；该目标隐层信息为用于确定音素分布信息的隐层信息；然后对目标隐层信息进行转换，以获取与语音特征信息对应的状态信息。图4示出了获取与语音特征信息对应的状态信息的流程示意图，如图4所示，在步骤s401中，通过第n级声学特征提取网络结构对当前时刻的第n级隐层信息进行投影以获取第n级低维投影信息，并根据第n级低维投影信息确定第n级记忆信息；在步骤s402中，通过第n+1级声学特征提取结构中的隐藏层根据第n级隐层信息和第n级记忆信息确定第n+1级隐层信息；在步骤s403中，重复步骤s401-s402，直至获取目标隐层信息，并对目标隐层信息进行转换以获取与语音特征信息对应的状态信息；其中，n为正整数，当n=1时，第1级隐层信息是根据第一权重对语音特征信息进行转换得到的。进一步地，声学特征提取结构还包括低维投影网络层，在步骤s401中，可以通过低维投影网络层根据与第n级声学特征提取网络结构对应的投影转换矩阵和偏置矩阵对当前时刻的第n级隐层信息进行投影，以获取第n级低维投影信息；通过记忆单元对第n级低维投影信息、与当前时刻对应的历史时刻的低维投影信息和与当前时刻对应的未来时刻的低维投影信息进行处理，以获取第n级记忆信息。由于每个语音帧对应不同的时间信息，因此在对不同的语音帧进行声学特征提取时，可以获取不同时刻不同层级的隐层信息、低维投影信息和记忆信息，其中低维投影信息和记忆信息的表达式如公式（1）、（2）所示：（1）（2）其中，为t时刻第n级低维投影信息，为与第n级声学特征提取结构对应的投影转换矩阵，为t时刻第n级隐层信息，为与第n级声学特征提取结构对应的偏置矩阵，为t时刻第n级记忆信息，为历史时刻的低维投影信息所对应的权重，为历史时刻的低维投影信息，为未来时刻的低维投影信息所对应的权重，为未来时刻的低维投影信息，n1为前向记忆阶数，s1为前向编码步幅因子，n2为后向记忆阶数，s2为后向编码步幅因子。值得说明的是，前向表示与当前时刻对应的历史时刻，后向表示与当前时刻对应的未来时刻，编码步幅因子表示对信息进行编码时每隔相应数量的时刻取一个值作为输入，例如s1=2表示对历史信息进行编码时每隔一个时刻取一个值作为输入。根据公式（2）分析可知，在计算当前时刻的记忆单元与历史时刻和未来时刻的记忆单元的关系时是采用向量点乘和累加的方式实现的，但这种线性关系只是关注了当前时刻和其它时刻之间的关系，无法刻画其它不同时刻之间的相互关系，因此在本公开的实施例中，可以在记忆单元中设置卷积神经网络，通过卷积神经网络替换原有的线性关系，来对多个时刻的低维投影信息进行建模，一方面可以利用卷积神经网络强大的建模能力，可以获得更细腻的特征信息，另一方面卷积神经网络具有参数共享的特性，可以避免参数量的大幅增加。通过基于卷积神经网络的记忆单元获取记忆信息时，首先通过卷积神经网络对第n级低维投影信息、与当前时刻对应的历史时刻的低维投影信息和与当前时刻对应的未来时刻的低维投影信息进行特征提取，以获取目标特征信息；然后将第n级低维投影信息与目标特征信息相加，以获取第n级记忆信息。转换后的记忆信息的表达式如公式（3）所示：（3）其中，为目标特征信息，为t时刻第n级低维投影信息，为t时刻第n级记忆信息。在本公开的一个实施例中，在使用卷积神经网络提取不同时刻之间的相互关系时，可以使用大小为（a，b）的卷积核进行特征提取，其中，a=n1+n2+1，b一般设为3。在本公开的实施例中，还可以在记忆单元中配置其它神经网络进行各个时刻之间的相互关系，例如时延神经网络tdnn等等。在本公开的一个实施例中，声学特征提取网络结构采用了隐层跳层连接的结构，那么在获取第n+1级隐层特征时就需要考虑第n级隐层特征。图5示出了获取第n+1级隐层信息的流程示意图，如图5所示，在步骤s501，根据与第n级声学特征提取网络结构对应的记忆转换矩阵和与第n+1级声学特征提取网络结构对应的偏置矩阵对第n级记忆信息进行处理，以获取第一特征信息；在步骤s502中，对第一特征信息进行非线性变换处理，以获取第二特征信息；在步骤s503中，根据预设系数对第n级隐层信息进行处理，以获取第三特征信息；在步骤s504中，将第二特征信息与第三特征信息相加，以获取第n+1级隐层信息。隐层信息的表达式如公式（4）所示：（4）其中，为t时刻第n+1级隐层信息，为与第n级声学特征提取网络结构对应的记忆转换矩阵，为t时刻第n级记忆信息，与第n+1级声学特征提取网络结构对应的偏置矩阵，0.66为预设系数，为t时刻第n级隐层信息，f(.)为非线性约束函数。图6示出了一种dfsmn子模型的结构示意图，如图6所示，dfsmn子模型600包括输入层601，三级声学特征提取结构602、603和604，目标隐藏层605和输出层606，其中三级声学特征提取结构602、603和604均包含低维投影网络层、记忆单元和隐藏层，且第一级声学特征提取结构602中的隐藏层与第二级声学特征提取结构603中的隐藏层跳层连接，第二级声学特征提取结构603中的隐藏层与第三级声学特征提取结构604中的隐藏层跳层连接，并且记忆单元中均设置卷积神经网络。接下来，基于图6所示的dfsmn子模型的结构对如何获取状态信息的流程进行详细说明。对语音信号进行预处理所获取的语音特征信息xt通过输入层601输入至dfsmn子模型，输入层601将语音特征信息xt发送至第一级声学特征提取结构602以获取第一级隐层信息、第一级低维投影信息和第一级记忆信息；接着第一级声学特征提取结构602将第一级隐层信息和第一级记忆信息发送至第二级声学特征提取结构603，以获取第二级隐层信息、第二级低维投影信息和第二级记忆信息；然后第二级声学特征提取结构603将第二级隐层信息和第二级记忆信息发送至第三级声学特征提取结构604，以获取第三级隐层信息、第三级低维投影信息和第三级记忆信息；紧接着，第三级声学特征提取网络结构604将第三级隐层信息和第三级记忆信息发送至目标隐藏层605，以获取第四级隐层信息，即目标隐层信息；最后目标隐藏层605将目标隐层信息发送至输出层606，通过根据第二权重对目标隐层信息进行处理以获取状态信息。在上述流程中，各级声学特征提取结构对输入信息进行处理的流程大致相同，下面以第二级声学特征提取结构603的信息处理流程为例进行说明。首先通过第二级声学特征提取结构603中的隐藏层根据公式（4）对第一级隐层信息和第一级记忆信息进行处理以获取第二级隐层信息；接着隐层网络层将第二级隐层信息发送至低维投影网络层，以使低维投影网络层根据公式（1）对第二级隐层信息进行处理，得到第二级低维投影信息；然后低维投影网络层将第二级低维投影信息发送至记忆单元，以使记忆单元根据公式（3）对第二级低维投影信息进行处理，以获取第二级记忆信息；最后第二级声学特征提取结构603将第二级隐层信息和第二级记忆信息发送至第三级声学特征提取结构604，进行下一级的声学特征提取。进一步地，为了提高语音识别的精准度，还可以在通过dfsmn子模型对各语音特征信息进行特征提取之前，可以对语音特征信息进行再处理，然后将再处理后的语音特征信息输入至dfsmn子模型进行语音识别。图7示出了声学模型的结构示意图，如图7所示，声学模型700包括输入层701、信息增强层702、卷积神经网络层703和dfsmn子模型704，其中，输入层701用于获取语音特征信息，并将语音特征信息发送至信息增强层702；信息增强层702用于对接收到的语音特征信息进行增强处理，在本公开实施例中，可以通过specaugment方法来做信息增强；卷积神经网络层703用于对增强处理后的语音特征信息进行特征提取，以获取更丰富的语音特征信息。在本公开的实施例中，可以设置多个卷积神经网络层703，例如可以设置为2个、3个等等，本公开实施例对此不作具体限定。通过信息增强层702和卷积神经网络层703对语音特征信息进行再处理后，可以通过dfsmn子模型704对再处理后的语音特征信息进行特征提取，以获取状态信息，进一步提高了声学模型的性能和输出结果的精准度。在本公开的一个实施例中，在采用声学模型对语音特征信息进行声学特征提取，获取与语音信号对应的状态信息之前，需要对待训练声学模型进行训练，以获取稳定的声学模型。接下来，以图7所示的声学模型为例，对训练待训练声学模型的流程进行说明。与图7所示的声学模型相同，待训练声学模型也包括输入层、待训练信息增强层、待训练卷积神经网络层和待训练dfsmn子模型，其中待训练dfsmn子模型具体可以包含15级声学特征提取结构。在对待训练声学模型进行训练时，首先获取语音信号样本集，同时获取验证集和测试集，例如可以使用2000小时的车载语音数据作为语音信号样本集，并使用4998条车载语音作为验证集，使用6901条车载语音作为测试集；接着将语音信号样本集中的语音信号样本输入至待训练声学模型进行预处理和声学特征提取，以获取状态预测信息；最后基于lemmi准则、状态预测信息和与语音信号样本对应的标注状态信息确定损失函数，并根据损失函数对待训练声学模型进行反向调参。通过对待训练声学模型进行多次训练，直至损失函数达到最小，或者直至完成预设次数的训练，以获取声学模型。在上述流程中，语音信号样本具体可以是40维的pncc特征和200为的i-vector特征，其中pncc特征用于描述语音信号样本的频谱特征，i-vector特征用于描述说话人的发音特征，同时待训练声学模型的输出可以设置为5552个状态，待训练dfsmn子模型中的隐藏层的大小可以设置为1536维，低维投影网络层的大小可以设置为256维，前8层的记忆单元对应时域上的窗口设置为（-2,-1,0,1,2），后7层的记忆单元对应时域上的窗口设置为（-3,0,3），窗口的大小是根据前向记忆阶数、后向记忆阶数和编码步幅因子确定的，相应地，根据前8层记忆单元对应的窗口可以确定编码步幅因子为1、前向记忆阶数和后向记忆阶数均为2，根据后7层记忆单元对应的窗口可以确定编码步幅因子为3，前向记忆阶数和后向记忆阶数均为1。对于配置于记忆单元中的卷积神经网络，基于卷积核大小的计算方式，以及上述各层记忆单元中的前向记忆阶数和后向记忆阶数可以确定卷积神经网络的卷积核大小，具体地，前8层记忆单元中卷积神经网络的卷积核大小为（5,3），后7层记忆单元中卷积神经网络的卷积核大小为（3,3）。在设定好上述模型参数后，可以根据语音信号样本对待训练声学模型进行训练，并在训练的过程中对其它参数进行优化，以使待训练声学模型的性能达到最优。值得说明的是，在模型训练过程中，语音信号样本的处理流程与上述实施例中语音信号的处理流程相同，在此不再赘述。本公开的语音处理方法中，由于在声学特征提取结构之间采用了隐层跳层连接的结构，根据公式（4）可知，在进行信息传递时，存在非线性函数f(.)的约束，因此避免了梯度爆炸的问题，同时由于在记忆单元中采用卷积神经网络替代原始的向量点乘和累加的方式，一方面使得模型能够获取更细腻的特征信息，获取不同时刻之间的相互关系，另一方面由于卷积神经网络具有参数共享的特性，避免了参数量的大幅增加，提高了模型训练速度和信息处理速度。在本公开的一个实施例中，为了确定本公开实施例中声学模型的性能，可以根据对比原则设计三组实验进行判断，具体地，可以通过对比具有常规dfsmn结构的声学模型（标记为1），具有将常规dfsmn中的记忆单元跳层连接结构转换为隐层跳层连接结构的声学模型（标记为2）以及本公开实施例中的声学模型（标记为3）对验证集和测试集进行语音识别所得到的输出结果的字错误率，以判断各个声学模型的性能。上述三个声学模型除dfsmn的结构不同之外，其它的结构及共有结构的参数均保持一致。表1示出了三个声学模型对验证集和测试集进行语音识别得到的输出结果中的字错误率，具体如下所示：表1语音识别的字错误率模型验证集测试集19.9713.0829.7412.6739.3412.64从表1分析可知，1号声学模型的性能表现最差；2号声学模型的性能表现居中，相对于1号声学模型的性能提升了约2.7%；3号声学模型的性能表现最优，相对于1号声学模型的性能提升了约5%。在步骤s330中，根据与各所述语音特征信息对应的状态信息确定与所述语音信号对应的文本信息。在本公开的一个实施例中，在获取声学模型输出的状态信息之后，可以通过解码器结合声学模型的输出、语言模型的输出和词典，进行语音到文字的整个搜索过程，以获取与语音信号对应的文本信息。其中，声学模型是对语音信号到对应音素的映射关系进行建模，语言模型和词典是对音素到汉字的映射关系进行建模，因此在获取声学模型输出的状态信息后，可以通过解码器结合语言模型和词典对状态信息进行解码、搜索，获取与语音信号对应的文本信息。本公开的语音处理方法中采用的声学模型包含dfsmn子模型，该dfsmn子模型的结构不同于常规的dfsmn模型的结构，其中的跳层连接结构不是记忆单元之间的，而是隐层之间的，这样在训练的时候，梯度向其它时刻的低维投影信息传递的时候，由于存在非线性函数的约束，可以避免梯度爆炸的问题，另外在记忆单元中设置卷积神经网络，能够提高模型获取语音信号中不同时刻之间的相互关系的能力，进而提升了声学模型对语音信号进行处理的效率和精准度。通过采用本公开实施例中的语音处理方法对语音信号进行声学特征提取，能够精准获取与语音信号对应的状态信息，进而根据状态信息获取与语音信号对应的文本信息。本公开的语音处理方法可以应用于任意的需要进行语音识别的场景，例如可以应用于车联网领域，用户通过语音查询路线、查询天气、播放车载音乐等等，避免用户手动操作，提高用户的驾驶体验；可以应用于服务领域，比如用户可以通过语音订餐、订票、订酒店等等，特别地，为不熟悉智能终端操作的用户以及身体机能障碍的用户提供了便利；还可以应用于多媒体领域，比如用户可以输入语音，通过对用户的语音进行识别获取对应的文本信息，并在显示屏幕上形成字幕；等等。以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的语音处理方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的语音处理方法的实施例。图8示意性示出了根据本公开的一个实施例的语音处理装置的框图。参照图8所示，根据本公开的一个实施例的语音处理装置800，包括：信息获取模块801、声学处理模块802和语音识别模块803。其中，信息获取模块801，用于获取与语音信号对应的多个语音特征信息；声学处理模块802，用于将所述语音特征信息输入至声学模型，通过所述声学模型对各所述语音特征信息进行特征提取，以获取与各所述语音特征信息对应的状态信息，所述声学模型具有隐层跳层连接结构和基于卷积神经网络的记忆单元；文本确定模块803，用于根据与各所述语音特征信息对应的状态信息确定与所述语音信号对应的文本信息。在本公开的一个实施例中，所述声学处理模块802配置为：对所述语音信号进行语音端点检测，并根据检测结果对所述语音信号进行切分，以获取多个语音帧；对各所述语音帧进行特征提取，以获取与各所述语音帧对应的语音特征信息。在本公开的一个实施例中，所述声学模型还包括dfsmn子模型；所述声学处理模块802包括：声学处理单元，用于通过所述dfsmn子模型对所述语音特征信息进行特征提取，以获取与各所述语音特征信息对应的状态信息。在本公开的一个实施例中，所述dfsmn子模型包括多级声学特征提取结构，各级所述声学特征提取结构中的隐藏层跳层连接，且各级所述声学特征提取结构包括所述基于卷积神经网络的记忆单元；所述声学处理单元802包括：第一处理单元，用于通过第n级声学特征提取结构对当前时刻的第n级隐层信息进行投影以获取第n级低维投影信息，并根据所述第n级低维投影信息确定第n级记忆信息；第二处理单元，用于通过第n+1级声学特征提取结构中的隐藏层根据所述第n级隐层信息和所述第n级记忆信息确定第n+1级隐层信息；循环单元，用于重复以上步骤，直至获取目标隐层信息，并对所述目标隐层信息进行转换以获取与所述语音特征信息对应的状态信息；其中，n为正整数，当n=1时，第1级隐层信息是根据第一权重对所述语音特征信息进行转换得到的。在本公开的一个实施例中，所述第一处理单元包括：投影信息获取单元，用于通过所述低维投影网络层根据与第n级声学特征提取结构对应的投影转换矩阵和偏置矩阵对所述当前时刻的第n级隐层信息进行投影，以获取所述第n级低维投影信息；记忆信息获取单元，用于通过所述记忆单元对所述第n级低维投影信息、与所述当前时刻对应的历史时刻的低维投影信息和与所述当前时刻对应的未来时刻的低维投影信息进行处理，以获取所述第n级记忆信息。在本公开的一个实施例中，所述第二处理单元配置为：根据与第n级声学特征提取结构对应的记忆转换矩阵和与第n+1级声学特征提取结构对应的偏置矩阵对所述第n级记忆信息进行处理，以获取第一特征信息；对所述第一特征信息进行非线性变换处理，以获取第二特征信息；根据预设系数对所述第n级隐层信息进行处理，以获取第三特征信息；将所述第二特征信息与所述第三特征信息相加，以获取所述第n+1级隐层信息。在本公开的一个实施例中，所述记忆信息获取单元配置为：通过所述记忆单元中的卷积神经网络对所述第n级低维投影信息、所述历史时刻的低维投影信息和所述未来时刻的低维投影信息进行特征提取，以获取目标特征信息；将所述第n级低维投影信息与所述目标特征信息相加，以获取所述第n级记忆信息。在本公开的一个实施例中，所述循环单元配置为：根据第二权重对所述目标隐层信息进行转换，以获取与所述语音特征信息对应的状态信息。在本公开的一个实施例中，所述声学模型还包括信息增强层和卷积神经网络层；所述语音处理装置800还配置为：在对各所述语音特征信息进行特征提取之前，通过所述信息增强层对所述语音特征信息进行增强处理，并通过所述卷积神经网络层对增强处理后的语音特征信息进行特征提取。在本公开的一个实施例中，所述语音处理装置800还配置为：在对所述语音信号进行语音端点检测之前，对所述语音信号进行清洁处理，以获取清洁语音信号。在本公开的一个实施例中，所述语音处理装置800还包括：样本获取模块，用于获取语音信号样本和与所述语音信号样本对应的标注状态信息；模型训练模块，用于根据所述语音信号样本和所述标注状态信息对待训练声学模型进行训练，以获取所述声学模型。在本公开的一个实施例中，所述模型训练模块配置为：通过所述待训练声学模型对所述语音信号样本进行预处理和特征提取，以获取状态预测信息；基于lfmmi准则、所述状态预测信息和所述标注状态信息对所述待训练声学模型的参数进行优化。图9示出了适于用来实现本公开实施例的语音处理装置的计算机系统的结构示意图。需要说明的是，图9示出的语音处理装置的计算机系统900仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。如图9所示，计算机系统900包括中央处理单元（centralprocessingunit，cpu）901，其可以根据存储在只读存储器（read-onlymemory，rom）902中的程序或者从储存部分908加载到随机访问存储器（randomaccessmemory，ram）903中的程序而执行各种适当的动作和处理，实现上述实施例中所述的语音处理方法。在ram903中，还存储有系统操作所需的各种程序和数据。cpu901、rom902以及ram903通过总线904彼此相连。输入/输出（input/output，i/o）接口905也连接至总线904。以下部件连接至i/o接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（cathoderaytube，crt）、液晶显示器（liquidcrystaldisplay，lcd）等以及扬声器等的输出部分907；包括硬盘等的储存部分908；以及包括诸如lan（localareanetwork，局域网）卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至i/o接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入储存部分908。特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元（cpu）901执行时，执行本公开的系统中限定的各种功能。需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（erasableprogrammablereadonlymemory，eprom）、闪存、光纤、便携式紧凑磁盘只读存储器（compactdiscread-onlymemory，cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的语音处理装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是cd-rom，u盘，移动硬盘等）中或网络上，包括若干指令以使得一台计算设备（可以是个人计算机、服务器、触控终端、或者网络设备等）执行根据本公开实施方式的方法。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
中的公知常识或惯用技术手段。应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。当前第1页1 2 3 

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除