一种分布不均衡的语种识别方法及系统与流程

本发明涉及一种分布不均衡的语种识别方法及系统，属于语种识别技术领域。

背景技术：

实际业务数据中经常出现各类语种分布不平衡，使用常见的语种识别效果往往无法达到预期效果。因为常见分类器的缺点，会倾向于识别成占比大的语种类别，此时会造成语种识别正确率下降，有可能会遗漏重要信息，而对于语种不分布不平衡的现象，通用的技术较难以解决，需要从特征提取、模型构建多个角度来进行研究。

技术实现要素：

本发明的目的在于，克服现有技术存在的技术缺陷，解决上述技术问题，提出一种分布不均衡的语种识别方法及系统，结合tv系统与bilstm语种识别系统组合使用，借助两个模型的优点来进行组合识别，从而提高整套业务系统的整体效果。

本发明具体采用如下技术方案：一种分布不均衡的语种识别方法，其特征在于，包括如下步骤：

步骤ss1：训练步骤，具体包括：对各语种的语音数据进行bn特征提取，生成的特征参数输入语种识别系统生成语种识别模型；

步骤ss2：识别步骤，具体包括：加载步骤ss1获得的语种识别模型，对待识别的语音做判别，输出识别结果。

作为一种较佳的实施例，所述步骤ss1具体包括：获取各语种的语音数据，通过特征提取转换为特征矢量序列，tv语种识别系统基于所述特征矢量序列生成tv语种识别模型，bilstm语种识别系统基于所述特征矢量序列生成bilstm二分类语种模型；

作为一种较佳的实施例，所述tv语种识别模型包括：语种模型1、语种模型2、…语种模型l，其中l为tv语种识别系统识别到的语种类别个数。

作为一种较佳的实施例，所述bilstm二分类语种模型包括：多数类别模型、少数类别模型，所述多数类别模型为语种中样本占比较多的类别模型，所述少数类别模型为语种中样本占比较小的类别模型。

作为一种较佳的实施例，所述多数类别模型包括：语种模型majority1-other、语种模型majority2-other、…majorityk-other，其中t为bilstm语种识别系统识别到的多数类别个数。

作为一种较佳的实施例，所述少数类别模型包括：语种模型minority1-other、语种模型minority2-other、…minorityt-other，其中t为bilstm语种识别系统识别到的少数类别个数。

作为一种较佳的实施例，所述步骤ss2具体包括：首先加载tv语种识别模型，对待识别的语音做判别；当识别的语种为占比量较多及较少的几个语种以外类别时，取tv语种识别模型识别打分最高者类别作为语种识别结果，识别结束；当识别的语种为占比量较多及较少的几个语种时，启用对应的bilstm二分类语种识别模型，取bilstm识别结果作为最终结果。

作为一种较佳的实施例，所述步骤ss2具体还包括：当识别的语种为占比量较多的几个语种时，启用对应的bilstm二分类语种识别模型的多数类别模型，取bilstm识别结果作为最终结果；当识别的语种为占比量较少的几个语种时，启用对应的bilstm二分类语种识别模型的少数类别模型，取bilstm识别结果作为最终结果。

作为一种较佳的实施例，所述多数类别模型包括：语种模型majority1-other、语种模型majority2-other、…majorityk-other，其中t为bilstm语种识别系统识别到的多数类别个数；所述少数类别模型包括：语种模型minority1-other、语种模型minority2-other、…minorityt-other，其中t为bilstm语种识别系统识别到的少数类别个数。

本发明还提出一种分布不均衡的语种识别系统，包括：

训练模块，用于：对各语种的语音数据进行bn特征提取，生成的特征参数输入语种识别系统生成语种识别模型；

识别模块，用于：加载识别模块获得的语种识别模型，对待识别的语音做判别，输出识别结果。

本发明所达到的有益效果：通过本发明提出的一种分布不均衡的语种识别方法及系统，对各语种的语音数据进行bn特征提取，生成的特征参数输入语种识别系统生成语种识别模型；加载上述获得的语种识别模型，对待识别的语音做判别，输出识别结果，使语种识别可以在分布不均衡的数据环境下同样产生有效作用，解决现有通用技术下的识别问题。

附图说明

图1是现有的语种识别的拓扑示意图。

图2是本发明的一种分布不均衡的语种识别方法的流程图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

语种识别(languageidentification,lid)特指自动识别输入语音信号的语言种类的技术。语种识别技术在实际的应用中有不可替代的作用，例如在实际业务中，能够获取的世界范围内的各类资料、资料往往由不同地区的多种语言的语音信号组成，因此可以将种语种识别技术可作为语音识别技术的前端技术，筛选出特定语言的语音信号再对其进行语音到文本的识别处理。

语种识别属于人工智能领域模式识别的一项技术，主要包括：特征提取、模型建立和判决准则。

一般的语种识别系统由训练和识别两阶段组成，如图1所示。训练阶段：各语种的语音数据进入系统，首先通过特征提取转换为特征矢量序列。提取的特征参数通常是在帧级进行处理，参数提取要求尽量去除说话人和噪声等冗余信息，同时保留能表征该语种特性的信息。然后通过某种训练算法，对每个语种产生一个或多个参考模型并存储起来。识别阶段，从待识别的未知语音数据提取相同的特征参数，依据训练阶段得到的语种模型，根据一定的相似性准则来判断测试语音的语言种类，即为识别出的语种。

语种分布失衡是指实际识别场景中，其中一类或几类严重超过另一类或几类的情况。通常，语种占比较多的类别称为多数类别，样本占比较小的的称为少数类别。当经典分类器遇到不平衡数据时，它会倾向于识别成占比大的语种类别。在这种场景下，需要对常规的语种识别方法做出修改，以适应这种分布不均衡的语种识别。

考虑到经典的tv系统在电话信道语音数据上的优秀表现及深度学习技术建模对语种的良好的区分性，此处将tv系统与bilstm语种识别系统组合使用，如图2所示，以期在语种分布失衡下达到较好的语种识别效果。

实施例1：如图2所示，本发明提出一种分布不均衡的语种识别方法，包括如下步骤：

步骤ss1：训练步骤，具体包括：对各语种的语音数据进行bn特征提取，生成的特征参数输入语种识别系统生成语种识别模型；其在训练阶段，训练了两种类型的语种模型，一种是经典的tv语种识别模型，另一种是bilstm的二分类语种识别模型。其中tv语种识别模型是覆盖全量语种的，bilstm是训练的占比量较多及较少的几个语种与other的二分类。

步骤ss2：识别步骤，具体包括：加载步骤ss1获得的语种识别模型，对待识别的语音做判别，输出识别结果。

可选的，所述步骤ss1具体包括：获取各语种的语音数据，通过特征提取转换为特征矢量序列，tv语种识别系统基于所述特征矢量序列生成tv语种识别模型，bilstm语种识别系统基于所述特征矢量序列生成bilstm二分类语种模型；

可选的，所述tv语种识别模型包括：语种模型1、语种模型2、…语种模型l，其中l为tv语种识别系统识别到的语种类别个数。

可选的，所述bilstm二分类语种模型包括：多数类别模型、少数类别模型，所述多数类别模型为语种中样本占比较多的类别模型，所述少数类别模型为语种中样本占比较小的类别模型。

可选的，所述多数类别模型包括：语种模型majority1-other、语种模型majority2-other、…majorityk-other，其中t为bilstm语种识别系统识别到的多数类别个数。

可选的，所述少数类别模型包括：语种模型minority1-other、语种模型minority2-other、…minorityt-other，其中t为bilstm语种识别系统识别到的少数类别个数。

可选的，所述步骤ss2具体包括：首先加载tv语种识别模型，对待识别的语音做判别；当识别的语种为占比量较多及较少的几个语种以外类别时，取tv语种识别模型识别打分最高者类别作为语种识别结果，识别结束；当识别的语种为占比量较多及较少的几个语种时，启用对应的bilstm二分类语种识别模型，取bilstm识别结果作为最终结果。借助bilstm良好的区分性，规避tv系统识别不准的语音，可以明显提升识别效果。

可选的，所述步骤ss2具体还包括：当识别的语种为占比量较多的几个语种时，启用对应的bilstm二分类语种识别模型的多数类别模型，取bilstm识别结果作为最终结果；当识别的语种为占比量较少的几个语种时，启用对应的bilstm二分类语种识别模型的少数类别模型，取bilstm识别结果作为最终结果。

可选的，所述多数类别模型包括：语种模型majority1-other、语种模型majority2-other、…majorityk-other，其中t为bilstm语种识别系统识别到的多数类别个数；所述少数类别模型包括：语种模型minority1-other、语种模型minority2-other、…minorityt-other，其中t为bilstm语种识别系统识别到的少数类别个数。

实施例2：本发明还提出一种分布不均衡的语种识别系统，包括：

训练模块，用于：对各语种的语音数据进行bn特征提取，生成的特征参数输入语种识别系统生成语种识别模型；

识别模块，用于：加载识别模块获得的语种识别模型，对待识别的语音做判别，输出识别结果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除