一种人声分离模型的训练以及人声分离方法和装置与流程

[0001]
本申请涉及人工智能技术领域，尤其涉及一种人声分离模型的训练以及人声分离方法和装置。


背景技术：

[0002]
随着互联网技术的发展，在电话诈骗等应用场景中，通常需要从音频中分离出不同用户对应的音频片段。
[0003]
现有技术中，通常采用基于人工先验的概率图模型，对音频进行人声分离。
[0004]
但是，概率图模型不需要模型训练，人声分离结果的准确度不高。


技术实现要素：

[0005]
本申请实施例提供一种人声分离模型的训练以及人声分离方法和装置，用以在对音频进行人声分离时，提高人声分离结果的准确度。
[0006]
一方面，提供一种人声分离模型的训练方法，包括：
[0007]
获取各音频样本以及相应的人声分离标注信息，人声分离标注信息表示音频中的各时刻对应的语音用户；
[0008]
基于卷积神经网络，分别提取每一音频样本中的各细分音频片段对应的第一声纹特征，细分音频片段是按照第一预设时长划分获得的；
[0009]
基于声纹提取模块，分别提取每一音频样本中的各粗分音频片段对应的第二声纹特征，粗分音频片段是按照第二预设时长划分获得的；
[0010]
基于粗分离模块，分别确定每一音频样本中识别出的语音用户对应的用户标识信息；
[0011]
采用卷积神经网络和循环神经网络，分别对每一音频样本对应的第一声纹特征、第二声纹特征以及用户标识信息进行处理，获得相应的人声分离结果；
[0012]
根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型，其中，人声分离模型是基于卷积神经网络、声纹提取模块、粗分离模块以及循环神经网络构建的。
[0013]
较佳的，基于卷积神经网络，提取每一音频样本中的各细分音频片段对应的第一声纹特征，包括：
[0014]
分别针对每一音频样本，执行以下步骤：
[0015]
将音频样本进行特征提取，获得相应的音频特征信息；
[0016]
按照第一预设时长，对音频样本的音频特征信息进行划分，获得多个细分音频片段的音频特征信息；
[0017]
分别对每一细分音频片段对应的音频特征信息进行声纹特征提取，获得相应的第一声纹特征。
[0018]
较佳的，基于声纹提取模块，分别提取每一音频样本中的各粗分音频片段对应的
第二声纹特征，包括：
[0019]
分别针对每一音频样本，执行以下步骤：
[0020]
按照第二预设时长，将音频样本进行划分，获得各粗分音频片段，第二预设时长高于第二预设时长；
[0021]
采用预先训练好的声纹特征模型，分别对每一粗分音频片段进行声纹特征提取，获得相应的第二声纹特征。
[0022]
较佳的，基于粗分离模块，分别确定每一音频样本中识别出的语音用户对应的用户标识信息，包括：
[0023]
分别针对每一音频样本，执行以下步骤：
[0024]
基于粗分离模块，对音频样本中的用户进行初步识别，分别获得每一粗分音频片段对应的语音用户对应的用户标识信息。
[0025]
较佳的，采用卷积神经网络和循环神经网络，分别对每一音频样本对应的第一声纹特征、第二声纹特征以及用户标识信息进行处理，获得相应的人声分离结果，包括：
[0026]
分别针对每一音频样本，执行以下步骤：
[0027]
根据音频样本中的各粗分音频片段对应的第二声纹特征和用户标识信息，分别确定每一用户标识信息对应的各第二声纹特征；
[0028]
分别根据每一用户标识信息对应的各第二声纹特征的平均值，获得相应的平均声纹特征；
[0029]
采用卷积神经网络和循环神经网络，对音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行上下文处理，获得上下文信息；
[0030]
根据上下文信息，分别确定每一语音用户为音频样本中的每一目标音频片段对应的用户的概率，目标音频片段是将音频样本按照第三预设时长划分后获得的；
[0031]
分别根据每一语音用户和每一目标音频片段对应的概率，获得相应的识别结果，识别结果表示语音用户是否为目标音频片段对应的用户。
[0032]
较佳的，根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型，包括：
[0033]
基于各音频样本的人声分离结果和相应的人声分离标注信息，确定模型损失；
[0034]
根据模型损失，对人声分离模型的参数进行调整，获得调整后的人声分离模型。
[0035]
一方面，提供一种人声分离方法，包括：
[0036]
采用粗分离模块，确定待识别的目标音频对应的语音用户的用户标识信息；
[0037]
分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率，目标音频片段是将目标音频按照第三预设时长划分后获得的；
[0038]
分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户。
[0039]
较佳的，在采用粗分离模块，确定待识别的目标音频对应的语音用户的用户标识信息之前，进一步包括：
[0040]
按照第四预设时长，将待识别音频进行划分，获得多个目标音频。
[0041]
较佳的，分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户，包
括：
[0042]
分别针对每一目标音频片段，执行以下步骤：
[0043]
确定目标音频片段的各概率中的最大值；
[0044]
将最大值对应的语音用户，确定为目标音频片段对应的目标语音用户。
[0045]
一方面，提供一种人声分离模型的训练装置，包括：
[0046]
获取单元，用于获取各音频样本以及相应的人声分离标注信息，人声分离标注信息表示音频中的各时刻对应的语音用户；
[0047]
第一提取单元，用于基于卷积神经网络，分别提取每一音频样本中的各细分音频片段对应的第一声纹特征，细分音频片段是按照第一预设时长划分获得的；
[0048]
第二提取单元，用于基于声纹提取模块，分别提取每一音频样本中的各粗分音频片段对应的第二声纹特征，粗分音频片段是按照第二预设时长划分获得的；
[0049]
确定单元，用于基于粗分离模块，分别确定每一音频样本中识别出的语音用户对应的用户标识信息；
[0050]
分离单元，用于采用卷积神经网络和循环神经网络，分别对每一音频样本对应的第一声纹特征、第二声纹特征以及用户标识信息进行处理，获得相应的人声分离结果；
[0051]
调整单元，用于根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型，其中，人声分离模型是基于卷积神经网络、声纹提取模块、粗分离模块以及循环神经网络构建的。
[0052]
较佳的，第一提取单元用于：
[0053]
分别针对每一音频样本，执行以下步骤：
[0054]
将音频样本进行特征提取，获得相应的音频特征信息；
[0055]
按照第一预设时长，对音频样本的音频特征信息进行划分，获得多个细分音频片段的音频特征信息；
[0056]
分别对每一细分音频片段对应的音频特征信息进行声纹特征提取，获得相应的第一声纹特征。
[0057]
较佳的，第二提取单元用于：
[0058]
分别针对每一音频样本，执行以下步骤：
[0059]
按照第二预设时长，将音频样本进行划分，获得各粗分音频片段，第二预设时长高于第二预设时长；
[0060]
采用预先训练好的声纹特征模型，分别对每一粗分音频片段进行声纹特征提取，获得相应的第二声纹特征。
[0061]
较佳的，确定单元用于：
[0062]
分别针对每一音频样本，执行以下步骤：
[0063]
基于粗分离模块，对音频样本中的用户进行初步识别，分别获得每一粗分音频片段对应的语音用户对应的用户标识信息。
[0064]
较佳的，分离单元用于：
[0065]
分别针对每一音频样本，执行以下步骤：
[0066]
根据音频样本中的各粗分音频片段对应的第二声纹特征和用户标识信息，分别确定每一用户标识信息对应的各第二声纹特征；
[0067]
分别根据每一用户标识信息对应的各第二声纹特征的平均值，获得相应的平均声纹特征；
[0068]
采用卷积神经网络和循环神经网络，对音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行上下文处理，获得上下文信息；
[0069]
根据上下文信息，分别确定每一语音用户为音频样本中的每一目标音频片段对应的用户的概率，目标音频片段是将音频样本按照第三预设时长划分后获得的；
[0070]
分别根据每一语音用户和每一目标音频片段对应的概率，获得相应的识别结果，识别结果表示语音用户是否为目标音频片段对应的用户。
[0071]
较佳的，调整单元用于：
[0072]
基于各音频样本的人声分离结果和相应的人声分离标注信息，确定模型损失；
[0073]
根据模型损失，对人声分离模型的参数进行调整，获得调整后的人声分离模型。
[0074]
一方面，提供一种人声分离装置，包括：
[0075]
分离单元，用于采用粗分离模块，确定待识别的目标音频对应的语音用户的用户标识信息；
[0076]
获得单元，用于分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率，目标音频片段是将目标音频按照第三预设时长划分后获得的；
[0077]
确定单元，用于分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户。
[0078]
较佳的，分离单元还用于：
[0079]
按照第四预设时长，将待识别音频进行划分，获得多个目标音频。
[0080]
较佳的，确定单元用于：
[0081]
分别针对每一目标音频片段，执行以下步骤：
[0082]
确定目标音频片段的各概率中的最大值；
[0083]
将最大值对应的语音用户，确定为目标音频片段对应的目标语音用户。
[0084]
一方面，提供一种控制设备，包括：
[0085]
至少一个存储器，用于存储程序指令；
[0086]
至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行上述任一种人声分离模型的训练以及人声分离方法的步骤。
[0087]
一方面，提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一种人声分离模型的训练以及人声分离方法的步骤。
[0088]
本申请实施例提供的一种人声分离模型的训练以及人声分离方法和装置中，获取各音频样本以及相应的人声分离标注信息，并将各音频样本输入至人声分离模型，获得相应的人声分离结果，以及根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型。以及采用粗分离模块确定待识别的目标音频对应的语音用户的用户标识信息，并分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率，以及分别根据每一目标音频片段对应的各概率，确定相应的目标语音
用户。这样，提高了人声分离的精确度。
[0089]
本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
[0090]
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0091]
图1为本申请实施例方式中一种人声分离模型的训练方法的实施流程图；
[0092]
图2为本申请实施例方式中一种人声分离模型的架构示意图；
[0093]
图3为本申请实施例方式中一种人声分离方法的实施流程图；
[0094]
图4为本申请实施例方式中一种人声分离结果示意图；
[0095]
图5为本申请实施例方式中一种人声分离模型的训练装置的结构示意图；
[0096]
图6为本申请实施例方式中一种人声分离装置的结构示意图；
[0097]
图7为本申请实施例方式中一种控制设备的结构示意图。
具体实施方式
[0098]
为了使本申请的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
[0099]
为了在通过人工智能技术为用户提供引领服务时，扩大服务的信息覆盖面，提高用户体验，本申请实施例提供了一种人声分离模型的训练以及人声分离方法和装置。
[0100]
首先对本申请实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
[0101]
终端设备：可以是移动终端、固定终端或便携式终端，例如移动手机、站点、单元、设备、多媒体计算机、多媒体平板、互联网节点、通信器、台式计算机、膝上型计算机、笔记本计算机、上网本计算机、平板计算机、个人通信系统设备、个人导航设备、个人数字助理、音频/视频播放器、数码相机/摄像机、定位设备、电视接收器、无线电广播接收器、电子书设备、游戏设备或者其任意组合，包括这些设备的配件和外设或者其任意组合。还可预见到的是，终端设备能够支持任意类型的针对用户的接口(例如可穿戴设备)等。
[0102]
服务器：可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务以及大数据和人工智能平台等基础云计算服务的云服务器。
[0103]
参阅图1所示，为本申请提供的一种人声分离模型的训练方法的实施流程图。该方法的具体实施流程如下：
[0104]
步骤100：控制设备获取各音频样本以及相应的人声分离标注信息。
[0105]
具体的，控制设备可以为服务器，也可以为终端设备。人声分离标注信息表示音频中的各时刻对应的语音用户，也就是说，音频中每一时刻的说话者。
[0106]
需要说明的是，若音频的音频时长较短，则包含的信息较少，人声分离模型难以获
得准确的人声分离结果，而若音频样本的音频时长较长，则数据量过大，人声分离模型难以进行数据处理，因此，音频样本的音频时长低于第一预设音频阈值，高于第二预设音频阈值。
[0107]
其中，第一预设音频阈值和第二预设音频阈值均为时间长度，实际应用中，第一预设音频阈值和第二预设音频阈值均可以根据实际应用场景进行设置，在此不作限制。
[0108]
例如，第一预设音频阈值为60s，第二预设音频阈值为10s，则获取音频时长为50的音频样本。该音频样本的人声分离标注信息为：音频样本中的0-30s的说话者为用户a，音频样本中的30-50s的说话者为用户b。
[0109]
这样，就可以获取训练数据。
[0110]
步骤101：控制设备基于卷积神经网络，分别提取每一音频样本中的各细分音频片段对应的第一声纹特征。
[0111]
具体的，控制设备分别针对每一音频样本，执行以下步骤：
[0112]
s1011：将音频样本进行特征提取，获得相应的音频特征信息。
[0113]
可选的，音频特征信息可以为梅尔频率倒谱系数(mel-frequency cepstral coefficients，mfcc)特征，还可以为短时傅里叶变换(short time fourier transform，stft)。
[0114]
其中，mfcc特征是指将音频进行编码运算得到的一组特征向量。mfcc提取包含两个关键步骤：转化到梅尔频率，以及倒谱分析。stft是一个用于语音信号处理的通用工具，它定义了一个非常有用的时间和频率分布类，其指定了任意信号随时间和频率变化的复数幅度。实际上，计算短时傅里叶变换的过程是把一个较长的时间信号分成相同长度的更短的段，在每个更短的段上计算傅里叶变换。
[0115]
一种实施方式中，音频样本中的每10ms音频片段，对应一帧音频特征，各音频特征，组成一个两维的矩阵。
[0116]
s1012：按照第一预设时长，对音频样本的音频特征信息进行划分，获得多个细分音频片段的音频特征信息，并分别对每一细分音频片段对应的音频特征信息进行声纹特征提取，获得相应的第一声纹特征。
[0117]
具体的，细分音频片段是将音频样本按照第一预设时长划分获得的。第一预设时长为时间长度，实际应用中，第一预设时长可以根据实际应用场景进行设置，在此不作限制。例如，第一预设时长为160ms。
[0118]
一种实施方式中，控制设备将音频样本输入至卷积神经网络，卷积神经网络对音频特征信息进行多次下采样，获得各细分音频片段对应的第一声纹特征。
[0119]
例如，第一预设时长为160ms，音频特征信息中每10ms音频片段对应一帧音频特征，则控制设备对音频特征信息，进行4次下采样，获得多个音频时长为160ms的细分音频片段对应的特征信息，进而获得相应的第一声纹特征。
[0120]
需要说明的是，传统技术中，通常从音频特征信息中抽出音频时长大于500ms的多个音频片段的声纹特征，本申请实施例中，减小了声纹特征的时间粒度，从而可以在后续步骤中提高人声分离结果的精确度。
[0121]
步骤102：控制设备基于声纹提取模块，分别提取每一音频样本中的各粗分音频片段对应的第二声纹特征。
[0122]
具体的，控制设备分别针对每一音频样本，执行以下步骤：
[0123]
按照第二预设时长，将音频样本进行划分，获得各粗分音频片段，并采用预先训练好的声纹特征模型，分别对每一粗分音频片段进行声纹特征提取，获得相应的第二声纹特征。
[0124]
其中，粗分音频片段是将音频样本按照第二预设时长划分获得的。第二预设时长为时间长度，且第二预设时长高于第二预设时长。实际应用中，第二预设时长可以根据实际应用场景进行设置，如，第二预设时长为800ms。
[0125]
可选的，声纹特征模型可以是基于深度学习构建的。预先训练好的声纹特征模型可以提高模型训练的效率，以及提取的声纹特征的准确度。
[0126]
进一步地，声纹特征模型也可以是未训练好的，在此不作限制。
[0127]
这样，就可以提取音频样本中的每一粗分音频片段的第二声纹特征，即较长时间段的音频片段的声纹特征。
[0128]
步骤103：控制设备基于粗分离模块，分别确定每一音频样本中识别出的语音用户对应的用户标识信息。
[0129]
具体的，控制设备分别针对每一音频样本，执行以下步骤：基于粗分离模块，对音频样本中的用户进行初步识别，分别获得每一粗分音频片段对应的语音用户对应的用户标识信息。
[0130]
一种实施方式中，控制设备基于粗分离模块，识别出音频样本中的语音用户，获得各语音用户对应的用户标识信息，并分别针对每一语音用户和每一粗分音频片段，执行以下步骤：
[0131]
判断该语音用户是否为该粗分音频片段对应的用户，若是，则获得第一指示信息，否则，获得第二指示信息。
[0132]
其中，第一指示信息和第二指示信息，用于指示语音用户与粗分音频片段是否匹配，例如，第一指示信息为1，第二指示信息为0。
[0133]
这样，就可以对音频样本进行初步人声分离。
[0134]
步骤104：控制设备采用卷积神经网络和循环神经网络，分别对每一音频样本对应的第一声纹特征、第二声纹特征以及用户标识信息进行处理，获得相应的人声分离结果。
[0135]
具体的，控制设备针对每一音频样本，执行以下步骤：
[0136]
s1041：根据音频样本中的各粗分音频片段对应的第二声纹特征和用户标识信息，分别确定每一用户标识信息对应的各第二声纹特征。
[0137]
具体的，控制设备分别筛选出每一用户标识信息对应的粗分音频片段对应的第二声纹特征。
[0138]
也就是说，获取每一说话者的第二声纹特征集合。
[0139]
s1042：分别根据每一用户标识信息对应的各第二声纹特征的平均值，获得相应的平均声纹特征。
[0140]
这样，通过平均声纹特征，可以精准的表达语音用户的声纹特征。
[0141]
s1043：采用卷积神经网络和循环神经网络，对音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行上下文处理，获得上下文信息。
[0142]
具体的，将音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行合并，并依次采用卷积神经网络和循环神经网络，对合并后的特征信息进行特征融合以及上下文建模，获得上下文信息。
[0143]
进一步地，由于第二预设时长高于第一预设时长，因此，细分音频片段的数量高于粗分音频片段的数量，又由于细分音频片段与第一声纹特征具有对应关系，粗分音频片段、第二声纹特征、用户标识信息以及平均声纹特征之间具有对应关系，因此，需要将第二声纹特征、用户标识信息以及平均声纹特征进行复制，以使得第二声纹特征、用户标识信息以及平均声纹特征的数量与第一声纹特征的数量相同，以便数据合并。
[0144]
s1044：采用卷积神经网络和循环神经网络，根据上下文信息，分别确定每一语音用户为音频样本中的每一目标音频片段对应的用户的概率。
[0145]
具体的，采用卷积神经网络和循环神经网络，将音频样本对应的上下文信息，按照第三预设时长划分后获得多个目标音频片段对应的上下文信息，并根据每一目标音频片段对应的上下文信息，分别确定每一语音用户为目标音频片段对应的用户的概率。
[0146]
也就是说，语音用户为目标音频片段中的说话者的概率。
[0147]
其中，第三预设时长为时间长度，可以根据实际应用场景进行设置，在此不作限制。
[0148]
可选的，第三预设时长可以与第一预设时长相同，也可以不同。
[0149]
一种实施方式中，分别针对每一语音用户，执行以下步骤：
[0150]
确定语音用户分别为每一目标音频片段对应的概率。
[0151]
s1045：根据每一语音用户和每一目标音频片段对应的概率，获得相应的识别结果。
[0152]
具体的，分别针对每一语音用户和每一目标音频片段，执行以下步骤：
[0153]
确定语音用户和目标音频片段对应的概率是否高于预设概率阈值，若是，则确定语音用户为目标音频片段对应的用户，否则，确定语音用户不为目标音频片段对应的用户。
[0154]
其中，识别结果表示语音用户是否为目标音频片段对应的用户即说话者。
[0155]
这样，就可以获得各音频样本的人声分离结果。
[0156]
步骤105：控制设备根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型。
[0157]
具体的，控制设备基于各音频样本的人声分离结果和相应的人声分离标注信息，确定模型损失，若确定出的模型损失高于预设损失阈值，则根据模型损失，对人声分离模型的参数进行调整，获得调整后的人声分离模型，并循环执行步骤100-步骤105，否则，确定结束模型训练流程，获得训练好的人声分离模型。
[0158]
其中，预设损失阈值为正数，实际应用中，可以根据实际应用场景进行设置，如，0.1，在此不作限制。预设损失阈值越小，则训练好的人声分离模型的精确度越高。
[0159]
一种实施方式中，控制设备分别针对每一音频样本中的每一目标音频片段执行以下步骤：
[0160]
从音频样本对应的人声分离标注信息中，获取目标音频片段对应标注用户，并根据目标音频片段对应的标注用户以及识别结果，确定模型损失，以及根据确定出的模型损失，对人声分离模型的参数进行调整。
[0161]
可选的，声纹提取模块和粗分离模块可以为预先训练好的，可以仅对人声分离模型中的卷积神经网络以及循环神经网络中的参数进行调整。
[0162]
这样，就可以获得训练好的人声分离模型，从而可以在后续步骤中，对音频进行人声分离。
[0163]
参阅图2所示，为一种人声分离模型的架构示意图。人声分离模型是基于卷积神经网络、声纹提取模块、粗分离模块以及循环神经网络构建的，包括：音频输入模块、特征提取模块、第一声纹特征提取模块、声纹提取模块、粗分离模块、平均声纹特征提取模块、特征合并模块、上下文模块以及模型损失模块。
[0164]
其中，音频输入模块：用于输入音频。特征提取模块，用于提取将音频的音频特征信息。第一声纹特征提取模块，用于基于卷积神经网络，提取音频的第一声纹特征。声纹提取模块，用于采用声纹特征模型，提取音频的第二声纹特征。平均声纹特征提取模块，用于确定各语音用户的平均声纹特征。特征合并模块，用于将音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行合并。上下文模块：用于根据卷积神经网络以及循环神经网络，确定人声分离结果。模型损失模块，用于确定模型损失。
[0165]
参阅图3所示，为本申请提供的一种人声分离方法的实施流程图。该方法的具体实施流程如下：
[0166]
步骤300：控制设备采用粗分离模块，确定待识别的目标音频对应的语音用户的用户标识信息。
[0167]
具体的，控制设备按照第四预设时长，将待识别音频进行划分，获得多个目标音频。
[0168]
其中，第四预设时长为低于第一预设音频阈值，高于第二预设音频阈值。实际应用中，第四预设时长，可以根据实际应用场景进行设置，如，30s在此不作限制。
[0169]
步骤301：控制设备分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率。
[0170]
具体的，控制设备分别针对每一用户标识信息，执行以下步骤：采用人声分离模型，确定用户标识信息对应的语音用户分别为每一目标音频片段对应的用户的概率。
[0171]
其中，目标音频片段是将目标音频按照第三预设时长划分后获得的；
[0172]
步骤302：控制设备分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户。
[0173]
具体的，控制设备分别针对每一目标音频片段，执行以下步骤：
[0174]
确定目标音频片段的各概率中的最大值，并将最大值对应的语音用户，确定为目标音频片段对应的目标语音用户。
[0175]
参阅图4所示，为一种人声分离结果示意图。待识别音频为：您好很高兴为您服务您好有什么需要帮您的吗。人声分离结果为：a说：您好很高兴为您服务，b说：您好，a说：有什么需要帮您的吗。
[0176]
本申请实施例可以应用于任意需要人声分离的应用场景，如，将会议单机场景中的音频进行人声分离，以分别获得每一会议者的会话内容，又如，将电话诈骗音频进行人声
分离，以分别获得诈骗者和受害者的会话内容。
[0177]
本申请实施例中，可以通过样本数据对人声分离模型不断进行训练，从而可以不断提高人声分离模型的适应范围以及人声分离精确度，减小了提取的声纹特征的时间粒度，提高了声纹特征提取的精确度，提高了上下文建模能力，进一步提高了系统性能以及人声分离结果的精确度。
[0178]
基于同一发明构思，本申请实施例中还提供了一种人声分离模型的训练以及人声分离装置，由于上述装置及设备解决问题的原理与一种人声分离模型的训练以及人声分离方法相似，因此，上述装置的实施可以参见方法的实施，重复之处不再赘述。
[0179]
如图5所示，其为本申请实施例提供的一种人声分离模型的训练装置的结构示意图，包括：
[0180]
获取单元501，用于获取各音频样本以及相应的人声分离标注信息，人声分离标注信息表示音频中的各时刻对应的语音用户；
[0181]
第一提取单元502，用于基于卷积神经网络，分别提取每一音频样本中的各细分音频片段对应的第一声纹特征，细分音频片段是按照第一预设时长划分获得的；
[0182]
第二提取单元503，用于基于声纹提取模块，分别提取每一音频样本中的各粗分音频片段对应的第二声纹特征，粗分音频片段是按照第二预设时长划分获得的；
[0183]
确定单元504，用于基于粗分离模块，分别确定每一音频样本中识别出的语音用户对应的用户标识信息；
[0184]
分离单元505，用于采用卷积神经网络和循环神经网络，分别对每一音频样本对应的第一声纹特征、第二声纹特征以及用户标识信息进行处理，获得相应的人声分离结果；
[0185]
调整单元506，用于根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型，其中，人声分离模型是基于卷积神经网络、声纹提取模块、粗分离模块以及循环神经网络构建的。
[0186]
较佳的，第一提取单元502用于：
[0187]
分别针对每一音频样本，执行以下步骤：
[0188]
将音频样本进行特征提取，获得相应的音频特征信息；
[0189]
按照第一预设时长，对音频样本的音频特征信息进行划分，获得多个细分音频片段的音频特征信息；
[0190]
分别对每一细分音频片段对应的音频特征信息进行声纹特征提取，获得相应的第一声纹特征。
[0191]
较佳的，第二提取单元503用于：
[0192]
分别针对每一音频样本，执行以下步骤：
[0193]
按照第二预设时长，将音频样本进行划分，获得各粗分音频片段，第二预设时长高于第二预设时长；
[0194]
采用预先训练好的声纹特征模型，分别对每一粗分音频片段进行声纹特征提取，获得相应的第二声纹特征。
[0195]
较佳的，确定单元504用于：
[0196]
分别针对每一音频样本，执行以下步骤：
[0197]
基于粗分离模块，对音频样本中的用户进行初步识别，分别获得每一粗分音频片
段对应的语音用户对应的用户标识信息。
[0198]
较佳的，分离单元505用于：
[0199]
分别针对每一音频样本，执行以下步骤：
[0200]
根据音频样本中的各粗分音频片段对应的第二声纹特征和用户标识信息，分别确定每一用户标识信息对应的各第二声纹特征；
[0201]
分别根据每一用户标识信息对应的各第二声纹特征的平均值，获得相应的平均声纹特征；
[0202]
采用卷积神经网络和循环神经网络，对音频样本对应的各第一声纹特征、各第二声纹特征、各用户标识信息以及各用户标识信息对应的平均声纹特征进行上下文处理，获得上下文信息；
[0203]
根据上下文信息，分别确定每一语音用户为音频样本中的每一目标音频片段对应的用户的概率，目标音频片段是将音频样本按照第三预设时长划分后获得的；
[0204]
分别根据每一语音用户和每一目标音频片段对应的概率，获得相应的识别结果，识别结果表示语音用户是否为目标音频片段对应的用户。
[0205]
较佳的，调整单元506用于：
[0206]
基于各音频样本的人声分离结果和相应的人声分离标注信息，确定模型损失；
[0207]
根据模型损失，对人声分离模型的参数进行调整，获得调整后的人声分离模型。
[0208]
如图6所示，其为本申请实施例提供的一种人声分离装置的结构示意图，包括：
[0209]
分离单元601，用于采用粗分离模块，确定待识别的目标音频对应的语音用户的用户标识信息；
[0210]
获得单元602，用于分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率，目标音频片段是将目标音频按照第三预设时长划分后获得的；
[0211]
确定单元603，用于分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户。
[0212]
较佳的，分离单元601还用于：
[0213]
按照第四预设时长，将待识别音频进行划分，获得多个目标音频。
[0214]
较佳的，确定单元603用于：
[0215]
分别针对每一目标音频片段，执行以下步骤：
[0216]
确定目标音频片段的各概率中的最大值；
[0217]
将最大值对应的语音用户，确定为目标音频片段对应的目标语音用户。
[0218]
本申请实施例提供的一种人声分离模型的训练以及人声分离方法和装置中，获取各音频样本以及相应的人声分离标注信息，并将各音频样本输入至人声分离模型，获得相应的人声分离结果，以及根据各音频样本的人声分离结果和人声分离标注信息，对人声分离模型的参数进行调整，获得调整后的人声分离模型。以及采用粗分离模块确定待识别的目标音频对应的语音用户的用户标识信息，并分别将目标音频相应的每一用户标识信息以及目标音频，输入至人声分离模型，获得每一语音用户为目标音频中的每一目标音频片段对应的用户的概率，以及分别根据每一目标音频片段对应的各概率，确定相应的目标语音用户。这样，提高了人声分离的精确度。
[0219]
为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本申请时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。
[0220]
基于上述实施例，参阅图7所示，本申请实施例中，一种控制设备的结构示意图。
[0221]
本申请实施例提供了一种控制设备，该控制设备可以包括处理器7010(center processing unit，cpu)、存储器7020，还可以包括输入设备7030和输出设备7040等，输入设备7030可以包括键盘、鼠标、触摸屏等，输出设备7040可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
[0222]
存储器7020可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器7010提供存储器7020中存储的程序指令和数据。在本申请实施例中，存储器7020可以用于存储本申请实施例中人声分离模型的训练以及人声分离的程序。
[0223]
处理器7010通过调用存储器7020存储的程序指令，处理器7010用于执行图1或图3所示的实施例提供的一种人声分离模型的训练以及人声分离的方法。
[0224]
本申请实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任意方法实施例中的人声分离模型的训练以及人声分离的方法。
[0225]
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0226]
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0227]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0228]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0229]
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
[0230]
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围
之内，则本申请也意图包含这些改动和变型在内。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除