商标分类 
商标转让 
您当前的位置： 基于解纠缠和解释性表征的跨语种语音转换方法及系统与流程
2021-01-28 16:01:28|
304|
起点商标网
本发明涉及语音转换技术领域，具体涉及一种基于解纠缠和解释性表征的跨语种语音转换方法及系统。
背景技术：
语音转换是语音信号处理领域的重要研究分支，是在语音合成和说话人识别的研究基础上发展与延伸的。语音转换的任务是改变源说话人的语音个性特征，使之具有目标说话人的个性特征，同时保留源说话人的语义信息不变。简而言之就是使源说话人的语音经过转换后，保留原语义的同时听起来像是目标说话人的语音。
语音转换技术经过多年的研究，已经涌现了很多经典的转换方法，根据训练语料进行分类，语音转换可以分为平行文本条件下的转换方法和非平行文本条件下的转换方法。平行文本条件下的转换方法需要预先采集大量平行训练文本，但是在实际应用中，想要获取大量的平行训练文本往往较为困难，耗时耗力，尤其在跨语种语音转换和医疗辅助系统中，采集到平行的训练文本根本无法实现，因此，无论从语音转换系统的通用性还是实用性来考虑，非平行文本条件下的语音转换研究都具有更大的应用价值和现实意义。
在语音转换领域的研究中，现有的非平行文本条件下的语音转换方法取得了很大进展，主要包括基于循环一致对抗网络(cycle-consistentadversarialnetworks,cycle-gan)的方法、基于条件变分自编码器(conditionalvariationalauto-encoder,c-vae)的方法、基于星型生成对抗网络(stargenerativeadversarialnetwork，stargan)模型等。这些转换方法能够直接规避对平行文本的依赖，实现非平行文本下的转换，但是目前这些已有的语音转换研究的方法主要是在相同的语种上进行转换研究，跨语种条件下的语音转换研究仍是一个很大的挑战。
在跨语种语音转换的研究中，由于源说话人和目标说话人语音的语言系统是不同的，所以并不能使用平行文本进行训练，为了解决这一问题，传统的处理方法是寻找会两种语种或者会更多语种的背景说话人，采集这些说话人在不同语种下的平行文本数据集，通过这些平行文本来训练双语转换模型，以实现跨语种语音转换，包括：masanobuabe等人在《thejournaloftheacousticalsocietyofamerica》发表的“statisticalanalysisofbilingualspeaker'sspeechforcross-languagevoiceconversion”、mikikomashimo等人在《informationprocessingsocietyofjapan》发表的“cross-languagevoiceconversionevaluationusingbilingualdatabases”等。然而，平行文本数据集的获取本就困难，会双语甚至是多国语言的说话人的平行文本的获取并不现实。
技术实现要素：
发明目的：为了克服现有技术的不足，本发明提供一种基于解纠缠和解释性表征的跨语种语音转换方法，该方法可以解决现有的语音转换技术只能在同一种语言中进行转换的问题，另一方面，本发明还提供基于解纠缠和解释性表征的跨语种语音转换系统。
技术方案：根据本发明的第一方面，提出基于解纠缠和解释性表征的跨语种语音转换方法，包括训练阶段和转换阶段，所述训练阶段包括以下步骤：
步骤1、获取训练语料，训练语料由两种语言的多名说话人的语料组成，所述说话人包含源说话人和目标说话人；
步骤2、提取所述训练语料的梅尔频谱特征，得到声学特征向量；
步骤3、将所述声学特征向量输入到转换网络中进行训练，所述训练网络包括内容编码器、说话人编码器和解码器；
其中，所述内容编码器用于对源说话人的语音进行解纠缠，从中获得语句的内容表征，所述说话人编码器用于对目标说话人的语音进行解纠缠，从中获得语句的说话人表征，所述解码器用于将获得的内容表征和说话人表征重构，生成重构语音；
步骤4、对所述转换网络训练过程中，使所述转换网络的重构损失函数和kl散度损失函数尽量小，设置所述转换网络的超参，使得目标函数最小化，直至设置的迭代次数，从而得到训练好的所述转换网络；
所述转换阶段包括以下步骤：
步骤5、提取待转换语料的梅尔频谱特征，得到声学特征向量x'；
步骤6、将所述声学特征向量x'输入到训练好的转换网络中，重构出转换语句的梅尔频谱特征；
步骤7、采用griffin_lim算法，将获得的所述转换语句的梅尔频谱特征转换为语音进行输出，进而获得跨语种语音转换的合成语音。
进一步的，包括：
所述说话人编码器包括多尺度卷积，所述多尺度卷积的输出连接有卷积模块，所述卷积模块的输出连接有第一池化层，最后连接有稠密层，所述多尺度卷积包括8个产生128个通道的一维卷积层，所述卷积模块包括依次连接的6组一维卷积块，每组一维卷积块中均有2个产生128个通道的一维卷积层，所述一维卷积块连接有第二池化层。
进一步的，包括：
所述内容编码器包括多尺度卷积，所述多尺度卷积的输出连接卷积模块，所述多尺度卷积包括8个产生128个通道的一维卷积层，所述卷积模块包括依次连接的6组一维卷积块，每组一维卷积块中均有2个产生128个通道的一维卷积层和多个实例归一化函数，所述一维卷积层和实例归一化函数交替放置，所述一维卷积块连接有池化层。
进一步的，包括：
所述实例归一化函数表示为：
其中，m'c为第c个信道的矩阵mc实例归一化后的特征映射矩阵，mc[ω]表示第c个信道的特征映射中的第ω个元素，μc为第c个信道的均值，σc为第c个信道的标准差。
进一步的，包括：
所述解码器包括卷积模块，所述卷积模块包括6组一维卷积块，每组一维卷积块包括2个产生128个通道的一维卷积层和多个自适应实例归一化函数，所述一维卷积层和自适应实例归一化函数交替放置，所述一维卷积块连接有上采样函数。
进一步的，包括：
所述自适应实例归一化函数表示为：
其中，m'c为第c个信道的矩阵mc实例归一化后的特征映射矩阵，mc[ω]表示第c个信道的特征映射中的第ω个元素，μc为第c个信道的均值，σc为第c个信道的标准差，γc和βc分别表示第c个信道中说话人编码器输出的线性变换系数。
进一步的，包括：
所述转换网络的目标函数表示为：
其中，λrec和λkl为超参数，分别是重构损失函数和kl散度的权重，lrec为模型的重构损失函数，lkl为模型的kl散度损失函数，
进一步的，包括：
所述重构损失函数表示为：
其中，
所述kl散度损失函数表示为：
其中，ex～p(x)[·]为内容表征的期望，ec(·)为内容编码器。
另一方面，本发明提供基于解纠缠和解释性表征的跨语种语音转换系统，包括训练阶段和转换阶段，所述训练阶段包括模块：
语料获取模块，用于获取训练语料，训练语料由两种语言的多名说话人的语料组成，所述说话人包含源说话人和目标说话人；
预处理模块，用于提取所述训练语料的梅尔频谱特征，得到声学特征向量；
网络训练模块，用于将所述声学特征向量输入到转换网络中进行训练，所述训练网络包括内容编码器、说话人编码器和解码器；
其中，所述内容编码器用于对源说话人的语音进行解纠缠，从中获得语句的内容表征，所述说话人编码器用于对目标说话人的语音进行解纠缠，从中获得语句的说话人表征，所述解码器用于将获得的内容信息和说话人信息重构，生成重构语音；
在训练过程中，使所述转换网络的重构损失函数和kl散度损失函数尽量小，设置所述转换网络的超参，使得目标函数最小化，直至设置的迭代次数，从而得到训练好的所述转换网络；
所述转换阶段包括以下步骤：
频谱提取模块，用于提取待转换语料的梅尔频谱特征，得到声学特征向量x'；
转换模块，用于将所述声学特征向量x'输入到训练好的转换网络中，重构出转换语句的梅尔频谱特征；
语音合成模块，用于采用griffin_lim算法，将获得的所述转换语句的梅尔频谱特征转换为语音进行输出，进而获得跨语种语音转换的合成语音。
再一方面，本发明公开一种计算机存储介质，其上存储有计算机程序，其特征在于：所述计算机程序在被计算机处理器执行时实现上述所述的基于解纠缠和解释性表征的跨语种语音转换方法。
有益效果：
1、本发明通过学习解纠缠表征来实现跨语种语音转换，在内容编码器中增加不进行仿射变换的实例归一化层，可以在保留内容信息的同时去除说话人信息；在说话人编码器中提取与说话人个性信息相关的说话人信息，尤其加入了平均池化层，进一步强化说话人编码器对于说话人信息的学习，提炼说话人信息；在解码器中增加进行了自适应实例归一化的说话人信息，加强生成的转换语句在个性特征上更像目标说话人，提高了跨语种语音转换的准确度和通用性，且该应用在电影配音，语言翻译，医疗辅助系统等丰富人机交互方面有广阔的市场前景。
2、本发明在训练阶段对于说话人个性信息的建模是通过说话人编码器实现，其提取与学习直接参与了模型的训练，与之前方法的预先提取存在本质的不同，能够有效提升转换语音的个性相似度。
3、本发明将内容编码器、说话人编码器以及解码器结合加入网络中，能够实现非平行文本条件下的语音转换，而且训练过程不需要任何对齐过程，提高了语音转换系统的通用性和实用性。
4、由于本发明对应模型在训练阶段训练了大量的背景说话人的语料，在转换阶段，可以转换不在训练集中的目标说话人的数据，解决了无法采集到目标说话人大量训练数据的问题，能够实现任意目标说话人直接进行语音转换的任务，将语音转换应用的适用范围从闭集拓展为开集，因此，本发明是具有高合成音质和个性相似度的跨语种多对多语音转换方法。
附图说明
图1是本发明实施例所述的模型的原理示意图；
图2是本发明实施例所述的模型中说话人编码器的网络结构图；
图3是本发明实施例所述的模型中内容编码器的网络结构图；
图4是本发明实施例所述的模型中解码器的网络结构图；
图5是本发明实施例所述的模型在中文转英文情形下语音的语谱图，其中，图5a为源语音的语谱图，图5b为合成语音的语谱图；
图6是本发明实施例所述的模型在中文转英文情形下语音的时域波形图，其中，图6a为源语音的时域波形图，图6b为合成语音的时域波形图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出基于解纠缠和解释性表征的跨语种语音转换方法，包括训练阶段和转换阶段，训练阶段用于得到语音转换所需的参数和转换网络，而转换部分用于实现源说话人语音转换为目标说话人语音。
如图1所示，训练阶段包括以下步骤：
步骤1、获取训练语料，训练语料由两种语言的多名说话人的语料组成，所述说话人包含源说话人和目标说话人；使用中英文两种语言的语料库作为训练语料，分别是aishell中文语料库和cstrvctk英文语料库。
从获取的两种语言的语料库中，选取aishell中文语料库中50名说话人，每人的语料有300句左右，每句时长2～10s不等；选取cstrvctk英文语料库中50名说话人，每人的语料有300句左右，每句时长1～8s不等。将选取出来的中文和英文两种语言的语句联合作为训练语料，可以使得转换网络充分学习到不同语种各自的发音特色和音素特征，进行模型的训练可以提升转换语音的质量。
步骤2、本实施例从训练语料中提取出梅尔频谱特征，构成声学特征向量x，其中，由于快速傅氏变换(fastfouriertransformation,fft)长度设置为2048，因此，得到的频谱包络特征为2048/2+1＝1025维，再从频谱包络特征中提取512维的梅尔频谱特征。
步骤3、将步骤2得到的声学特征向量x输入到转换网络中进行训练，本实例中的网络以vae模型为基础，在vae模型的基础上，额外增加了一个编码器，通过设置两个功能不同的编码器，对输入内容进行解纠缠，将输入语句中的说话人信息和内容信息进行解耦，从而实现跨语种语音转换。
该网络主要包括三部分：
(1)一个用来获取语句中的说话人表征的说话人编码器，其结构如图2所示，说话人编码器包括输入层输出层和多尺度卷积，图中表示为convbank，多尺度卷积的输出连接有卷积模块，卷积模块的输出连接有第一池化层，图中表示为avgpool，最后连接有两层稠密层，图中为dense，用于根据获取结果特征的权重决定输入所属分类的概率，多尺度卷积包括8个产生128个通道的一维卷积层，图中表示为conv，用于捕捉频谱特征中多尺度的信息，卷积模块包括依次连接的6组一维卷积块a，每组一维卷积块中均有2个产生128个通道的一维卷积层，其中，第一个一维卷积层包括图中的conv1-1和conv1-2，第二个一维卷积层包括图中的conv2-1和conv2-2，一维卷积块连接有第二池化层，图中表示为avgpool，在两个一维卷积层之间设置有修正线性单元，图中为relu，本实施例中第一池化层和第二池化层均采用自适应平均池化层。
(2)一个用来获取语句中的内容表征的内容编码器，其结构如图3所示，内容编码器包括多尺度卷积，图中表示为convbank，多尺度卷积的输出连接卷积模块，多尺度卷积包括8个产生128个通道的一维卷积层，图中表示为conv，卷积模块包括依次连接的6组一维卷积块a，每组一维卷积块中均有2个产生128个通道的一维卷积层和4个实例归一化函数，其中，第一个一维卷积层包括图中的conv1-1和conv1-2，第二个一维卷积层包括图中的conv2-1和conv2-2，分别在conv1-1、conv1-2、conv2-1和conv2-2后均设置有实例归一化函数，实例归一化函数图中表示为in，一维卷积层和实例归一化函数交替放置，且每个一维卷积层和对应的实例归一化函数之间均设置有修正线性单元，图中为relu，一维卷积块连接有池化层，本实施例的池化层采用自适应平均池化层，用于强化说话人编码器对于说话人信息的学习，提炼说话人信息。
在内容编码器中，增加了不进行仿射变换的实例归一化层，可以在保留源说话人语句内容信息的同时删除源说话人的个性信息，由此分离语句中的说话人信息和内容信息，达到解纠缠效果。
不进行仿射变换的实例归一化公式为：
其中，m'c为第c个信道的矩阵mc实例归一化后的特征映射矩阵，mc[ω]表示第c个信道的特征映射中的第ω个元素，μc为第c个信道的均值，σc为第c个信道的标准差。
(3)一个用来生成转换语音的解码器，其结构如图4所示。解码器包括卷积模块，卷积模块包括6组一维卷积块a，每组一维卷积块包括2个产生128个通道的一维卷积层和4个自适应实例归一化函数，其中，第一个一维卷积层包括图中的conv1-1和conv1-2，第二个一维卷积层包括图中的conv2-1和conv2-2，分别在conv1-1、conv1-2、conv2-1和conv2-2后均设置有自适应实例归一化函数，自适应实例归一化函数表示为adain，一维卷积层用于还原内容信息，自适应实例归一化层，用于向内容信息中融合目标说话人的个性特征，使得转换语句在相似度上更像目标说话人；一维卷积层和自适应实例归一化函数交替放置，且一维卷积层的单层和对应的自适应实例归一化函数之间均设置有修正线性单元，图中表示为relu，一维卷积块连接有上采样函数，图中表示为upsample。
在解码器中，对说话人信息进行自适应实例归一化，以加强生成的转换语句在相似度上更像目标说话人，获得高相似度的转换合成语音。
自适应实例归一化公式为：
其中，m'c为第c个信道的矩阵mc实例归一化后的特征映射矩阵，mc[ω]表示第c个信道的特征映射中的第ω个元素，μc为第c个信道的均值，σc为第c个信道的标准差，γc和βc分别表示第c个信道中说话人编码器输出的线性变换系数。
整个转换网络的目标函数表示为：
其中，λrec和λkl为超参数，分别是重构损失函数和kl散度的权重，本实例中，设置λrec为10，λkl为0.01。lrec为模型的重构损失函数，lkl为模型的kl散度损失函数，
上述的重构损失函数表示为：
其中，
步骤3-1、将步骤2中提取的说话人声学特征向量x输入到说话人编码器中，经过编码器网络，生成说话人表征zs；
步骤3-2、将步骤2中提取的说话人声学特征x输入到内容编码器中，经过编码器网络，生成内容表征zc；在vae模型中，为了使得后验概率分布向标准正态分布拟合，需要计算各分量独立的正态分布与标准正态分布的kl散度作为损失值，kl散度越小，分布距离越近，即越相似。在本模型中，对于提取到的内容表征，其kl散度要尽量小。
上述的kl散度损失函数表示为：
其中，ex～p(x)[·]为内容表征的期望，ec(·)为内容编码器，x为输入的梅尔频谱特征。
步骤3-3、将上述得到的说话人表征zs和内容表征zc一同输入到模型的解码器中，经过解码器网络，重构频谱特征x，在训练过程中，上述的重构损失函数越小，即表明重构的频谱与真实频谱越相似。
步骤4、重复步骤3-1至步骤3-3，直至达到设置的迭代次数，从而得到训练好的网络。由于神经网络具体设置不同以及实验设备性能不同，设置的迭代次数也各不相同。本实验中设置迭代次数为100000次。
转换阶段包括以下步骤：
步骤5、由于本发明针对跨语种语音转换进行研究，因此选取不同语种的语料作为待转换语料。分别提取待转换语料的梅尔频谱特征；
步骤6、将所述声学特征向量输入到训练好的转换网络中，重构出转换语句的梅尔频谱特征；
步骤6-1、将步骤5中提取到的目标说话人的梅尔频谱特征输入到训练好的说话人编码器中，生成说话人表征zs。
步骤6-2、将步骤5中提取到的源说话人的梅尔频谱特征输入到训练好的内容编码器中，生成内容表征zc。
步骤6-3、将上述模型输出的目标说话人的说话人表征zs以及源说话人的内容表征zc输入到解码器中，重构出转换语句的梅尔频谱特征。
步骤7、采用griffin_lim算法，将步骤6-3中获得的转换语句的梅尔频谱特征转换为语音进行输出，进而获得跨语种语音转换的合成语音。其中，g&l(griffin-lim)算法是一种已知幅度谱，未知相位谱，通过迭代生成相位谱，并用已知的幅度谱和计算得出的相位谱，重建语音波形的方法。进一步的，如图5a为本实施例所述的中英文语料下的源语音的语谱图，横坐标为时间time，单位为秒secs，纵坐标为频率frequency，单位khz。图5b为本实施例所述的合成语音的语谱图。图6a和图6b分别是中文转英文情形下源语音及合成语音的时域波形图。
本发明中，模型通过学习解纠缠和解释性表征，可以解耦语句中的说话人信息和内容信息，从而实现跨语种语音转换。说话人编码器被用来训练生成说话人表征zs，内容编码器被用来训练生成内容表征zc。在编码器部分，其关键点在于：在内容编码器中，增加了不进行仿射变换的实例归一化层，这一行为可以在保留源说话人语句内容信息的同时删除源说话人的个性信息，由此分离语句中的说话人信息和内容信息。在解码器部分，通过自适应实例归一化向解码器提供说话人信息，这样可以进一步加强目标说话人个性信息，使得转换语音听起来更像目标说话人。
本发明的转换合成语音的语谱图具有清晰的细节、完整的基音和谐波信息，因此合成的语音更加细腻真实，能够完整地表达源说话人语种的语义，具有很好的合成质量，同时在个性相似度方面也有较好的效果，很好地实现了跨语种语音转换任务。同时，本发明提出的方法还可以转换不在训练集内的说话人的语音，大大提高了语音转换在应用中的便捷性。
在基于解纠缠和解释性表征的跨语种语音转换方法的基础上，本发明还提供一种基于解纠缠和解释性表征的跨语种语音转换系统，包括训练阶段和转换阶段，所述训练阶段包括模块：
语料获取模块，用于获取训练语料，训练语料由两种语言的多名说话人的语料组成，所述说话人包含源说话人和目标说话人；
预处理模块，用于提取所述训练语料的梅尔频谱特征，得到声学特征向量；
网络训练模块，用于将所述声学特征向量输入到转换网络中进行训练，所述训练网络包括内容编码器、说话人编码器和解码器；
其中，所述内容编码器用于对源说话人的语音进行解纠缠，从中获得语句的内容表征，所述说话人编码器用于对目标说话人的语音进行解纠缠，从中获得语句的说话人表征，所述解码器用于将获得的内容信息和说话人信息重构，生成重构语音；
在训练过程中，使所述转换网络的重构损失函数和kl散度损失函数尽量小，设置所述转换网络的超参，使得目标函数最小化，直至设置的迭代次数，从而得到训练好的所述转换网络；
所述转换阶段包括以下步骤：
频谱提取模块，用于提取待转换语料的梅尔频谱特征，得到声学特征向量x'；
转换模块，用于将所述声学特征向量x'输入到训练好的转换网络中，重构出转换语句的梅尔频谱特征；
语音合成模块，用于采用griffin_lim算法，将获得的所述转换语句的梅尔频谱特征转换为语音进行输出，进而获得跨语种语音转换的合成语音。
对于方法实施例而言，由于其基本相似于系统实施例，所以描述的比较简单，相关之处参见系统实施例的部分说明即可。
本发明实施例如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括:u盘、移动硬盘、只读存储器(readonlymemory,rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本发明实例不限制于任何特定的硬件和软件结合。
相应的，本发明的实施例还提供了一种计算机存储介质，其上存储有计算机程序。当所述计算机程序由处理器执行时，可以实现前述基于解纠缠表征的中英跨语种语音转换方法。例如，该计算机存储介质为计算机可读存储介质。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】
与客服一对一沟通，为大家解决相关问题。
此文章来源于网络,如有侵权,请联系删除
热门咨询
