一种基于卷积块注意机制的视听双模态语音识别方法与流程

本发明涉及一种视听双模态语音识别方法，尤其涉及一种基于卷积块注意机制的视听双模态语音识别方法，属于深度学习语音识别
技术领域：
。
背景技术：
：随着信息技术的飞速发展，人机交互技术作为智能化生活的核心技术，吸引越来越多的研究学者投入到相关的研究工作中。其中，语音识别技术的出现使得计算机可以“听懂”人类的语音，真正意义上实现了人机交互。传统的语音识别技术是以听觉信息为研究对象，但由于在现实的音频环境中，存在大量噪声或存在多说话者的情况，传统的语音识别技术往往不能高效地识别音频信息内容。近年来，视觉信息作为传统语音识别方法的补充信息，被引入到语音识别技术中，它可以很好地提升高强度噪声或嘈杂环境中语音信息的识别率，产生的模型更具鲁棒性。因此，基于视觉的语音识别技术，以及听觉和视觉相结合的视听双模态语音识别方法得以快速发展。在已有的文献中最著名和效果最好的方法主要包括：1.基于视觉语音识别方法的端到端唇读网络：2016年assaelym,shillingfordb,whitesons,etal.lipnet:end-to-endsentence-levellipreading.https://arxiv.org/abs/1611.01599.这篇论文是牛津大学、googledeepmind和加拿大高等研究院(cifar)联合首次发布的第一个在唇读领域将深度学习应用于端到端学习的网络模型，具有重要价值的学术论文。提出利用深度学习实现语句层面的自动唇读技术lipnet模型，采用一种能够将可变长度的视频序列映射为文本的模型，完全是以端到端的方式训练，模型实现了93.4％的准确度，超过经验丰富的人类唇读者。2.基于cnn的单词级别视听双模态模型方法：2016年chungjs,zissermana.lipreadinginthewild.asianconferenceoncomputervision.springer,cham,2016:87-103.提出一种基于cnn的单词级别识别模型，该模型以vgg-m为基础，构建多路特征提取框架，最终获得良好的识别效果。3.基于深度循环神经网络的单词级别视听双模态语音识别模型：2018年petridiss,stafylakist,map,etal.end-to-endaudiovisualspeechrecognition.ieeeinternationalconferenceonacoustics,speechandsignalprocessing(icassp).calgarycanada:ieeecomputersociety,2018:6548-6552.提出利用resnet结构对视觉、听觉双模态信息进行特征提取并得到特征向量，将特征向量分为正向、反向两个流，均经过lstm提取时序特征得到新的特征向量，将上述两个特征向量融合完成最终的识别。4.基于sdbn和blstm注意力融合的端到端视听双模态语音识别模型：2019年王一鸣，陈恳，萨阿卜杜萨拉木·艾海提拉木.基于sdbn和blstm注意力融合的端到端视听双模态语音识别.电信科学，2019，35(12)：79-89.提出使用sdbn提取稀疏特征，blstm提取时序特征，通过注意力机制将视觉信息数据和听觉信息数据对齐，该模型具有一定的有效性和鲁棒性。5.基于densenet和resbi-lstm的汉语唇读语音识别方法：2020年xuejuanchen,jixiangdu,hongbozhang.lipreadingwithdensenetandresbi-lstm.signal,imageandvideoprocessing,2020:1-9.提出一种由三维卷积层、densenet和剩余双向长短期记忆神经网络组成的模型，采用多重注意力叠加模型将汉语拼音转换为汉字，最终获得汉字结果，其能有效地提高语音识别效果。技术实现要素：本发明的目的是提供一种具有良好的识别性能和收敛速度，同时具有一定抗噪能力的基于卷积块注意机制的视听双模态语音识别方法。本发明的目的是这样实现的：(1)对视听双模态信息数据集进行预处理：①对视听双模态信息数据集中的原始图像序列提取嘴部roi图像序列，进行图像增强；②对视听双模态信息数据集中的原始音频数据进行stft算法处理及最大最小归一化处理；(2)提出构建cbam-av-lipnet模型：①以3层cbam-stcnnmodule，1层bi-gru堆叠构成视觉流，提取视觉深层特征；②以3层cbam-cnnmodule，1层bi-gru堆叠构成听觉流，提取听觉深层特征；③将视觉深层特征和听觉深层特征在时间维度上连接，通过2层bi-gru、1层fc和softmax层提取深层融合特征；④以ctc损失函数计算损失值，反向传播更新模型参数，得到训练收敛的cbam-av-lipnet模型；(3)完成基于卷积块注意机制的视听双模态语音识别任务：①利用cbam-av-lipnet模型对测试集进行特征提取得到深层融合特征向量；②对深层融合特征向量进行ctc贪婪搜索解码，获得识别文本信息，实现视听双模态语音识别任务。本发明还包括这样一些特征：1、在步骤(1)中对视听双模态信息数据集中的原始图像序列，使用dlib脸部检测器提取嘴部roi图像序列，进行颜色规范化并以概率p水平翻转完成图像增强处理，得到预处理视觉信息数据。2、所述步骤(1)中对视听双模态信息数据集中的原始音频数据，使用滑窗大小为40ms，滑窗滑动步长为10ms，采样率为16khz的stft算法，得到321维的频谱矩阵，并对频谱矩阵使用最大最小归一化处理，得到预处理听觉信息数据。3、在步骤(2)中cbam-stcnnmodule由时空卷积层、通道注意力模块以及空间注意力模块构成。其中，时空卷积层提取特征的卷积操作为：表示第l层的输出，表示第l-1层的输出，为第l层的学习权重参数，表示第l层的偏置，表示激活函数，c表示通道数，t表示时间步长，w表示特征映射的宽，h表示特征映射的高。令通道注意力模块提取通道特征的过程为：f′v表示视觉通道深层特征矩阵，fv表示视觉时空深层特征，表示外积操作，mc(·)表示通道注意力矩阵，f1(·)和f2(·)表示卷积操作，avgpool(·)为平均池化操作，maxpool(·)为最大池化操作，sigm(·)为sigmoid激活函数。空间注意力模块提取空间特征的过程为：f″v表示视觉空间深层特征矩阵，表示连接操作，ms(·)表示空间注意力矩阵，f7×7×7表示7×7×7的卷积层。4、所述步骤(2)中使用bi-gru对视觉空间深层特征f″v进一步提取视觉时序特征，得到视觉深层特征矩阵fv-final。5、所述步骤(2)中cbam-cnnmodule由卷积神经网络层、通道注意力模块以及空间注意力模块构成。卷积神经网络层提取特征的卷积操作为：表示第l-1层的输出，表示第l层的输出。为第l层的学习权重参数，表示第l层的偏置，表示激活函数，c为通道数，t为时间步长，f表示特征映射的尺寸大小。令通道注意力模块提取通道特征的过程为：f′a为听觉通道深层特征矩阵，fa为听觉卷积深层特征。空间注意力模块提取空间特征过程为：f″a表示听觉空间深层特征矩阵，f7×7表示7×7的卷积层。6、所述步骤(2)中使用bi-gru对听觉空间深层特征f″a进一步提取听觉深层时序特征，得到听觉深层特征矩阵fa-final。7、所述步骤(2)中将视觉深层特征矩阵fv-final和听觉深层特征矩阵fa-final，在时间维度上进行连接，即以2层bi-gru、1层fc和softmax层进行特征融合，提取视听双模态信息数据的深层融合特征。8、所述步骤(2)中以softmax层的输出作为cbam-av-lipnet模型的输出，使用ctc损失函数计算其与真实标签的损失值，依此进行反向传播，利用链式法则找出最小损失梯度，并根据学习率更新网络参数，得到训练收敛的cbam-av-lipnet模型。具体学习过程为：θ_cbam-av-lipnet为cbam-av-lipnet模型的网络参数，d为训练集，x表示样本信息输入，l表示标签序列，xv为视觉信息数据，xa为听觉信息数据，b为ctc预测变换，π表示cbam-av-lipnet模型输出的识别文本信息序列，p(l|xv,xa)表示给定输入xa、xv的情况下，cbam-av-lipnet模型的输出与真实标签l序列一致的概率。9、在步骤(3)中对视听双模态信息数据测试集输入至cbam-av-lipnet模型中，利用视觉流提取视觉深层特征，听觉流提取听觉深层特征，将提取的特征融合，进一步提取深层融合特征，得到深层融合特征向量。10、所述步骤(3)中对深层融合特征向量采用ctc贪婪搜索解码算法进行解码，得到视听双模态信息数据的识别文本信息，最终完成视听双模态语音识别任务。与现有技术相比，本发明的有益效果是：a.由于原始视听双模态数据集grid中存在冗余，并且数据中无用特征过多等问题，本发明提出对原始数据集分别进行预处理，得到图像增强的roi图像序列和短时傅里叶变换的归一化音频数据；b.本发明在2016年牛津大学、googledeepmind和cifar联合首次发布的第一个唇读领域视觉语音识别模型lipnet的基础上，为了提升模型的收敛速度和识别精度，对视觉信息和听觉信息的特征进行融合建立视听唇读网络模型av-lipnet，并引入基于卷积块注意机制提出构建cbam-av-lipnet模型；c.在本发明提出构建的cbam-av-lipnet模型中，是以cbam-stcnnmodule和bi-gru构成视觉流提取视觉深层特征，以cbam-cnnmodule和bi-gru构成听觉流提取听觉深层特征。将视觉深层特征和听觉深层特征在时间维度上连接，通过bi-gru、fc和softmax层提取深层融合特征。以ctc损失函数计算损失值，并反向传播更新参数，得到训练收敛的cbam-av-lipnet模型；d.本发明利用提出构建的cbam-av-lipnet模型对测试集进行特征提取得到深层融合特征向量，对其进行ctc贪婪搜索解码，获得识别文本信息，完成视听双模态语音识别任务。本发明提出的基于卷积块注意机制的视听双模态语音识别方法较传统的语音识别方法和视觉语音识别模型lipnet具有良好的识别性能和收敛速度，同时具有一定的抗噪能力和有效性。附图说明图1是本发明方法的流程图；图2是roi图像示例图；图3是本发明提出cbam-av-lipnet模型的结构图；图4是各语音识别模型的识别结果图，图4(a)是lipnet处理的视觉信息数据及识别文本结果，图4(b)是a-lipnet处理的听觉信息数据及识别文本结果，图4(c)是av-lipnet处理的视听双模态信息数据及识别文本结果，图4(d)是cbam-av-lipnet处理的视听双模态信息数据及识别文本结果；图5是前100轮各语音识别模型训练损失曲线图；图6是前100轮各语音识别模型训练单词错误率曲线图图7是各强度噪声下的部分听觉信息数据波形图示例，图7(a)是纯净听觉信息数据波形图，图7(b)是低噪(20db)听觉信息数据波形图，图7(c)是中噪(10db)听觉信息数据波形图，图7(d)是高噪(-5db)听觉信息数据波形图；图8是低噪(20db)强度下各语音识别模型的识别结果图，图8(a)是低噪强度下lipnet处理的视觉信息数据及识别文本结果，图8(b)是低噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图8(c)是低噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图8(d)是低噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果；图9给出中噪(10db)强度下各语音识别模型的识别结果图，图9(a)是中噪强度下lipnet处理的视觉信息数据及识别文本结果，图9(b)是中噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图9(c)是中噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图9(d)是中噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果；图10给出高噪(-5db)强度下各语音识别模型的识别结果图，图10(a)是高噪强度下lipnet处理的视觉信息数据及识别文本结果，图10(b)是高噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图10(c)是高噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图10(d)是高噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果。具体实施方式下面结合附图与具体实施方式对本发明作进一步详细描述。结合图1，本发明的具体步骤如下：(1)视听双模态信息数据集预处理为适应视听双模态语音识别模型，首先需将视频信息中的原始图像序列和音频数据进行分离，分别进行预处理。针对原始视听双模态数据集中存在冗余，且数据中无用特征过多等问题，本发明分别对原始图像序列和音频数据进行预处理。①原始图像序列预处理原始的图像序列实际上存在大量的冗余信息。为了取得更好的处理效果，对原始图像序列进行嘴部roi提取。本发明使用dlib脸部探测器对原始图像序列的脸部区域进行68点定位，从而裁剪出以嘴部为中心的roi图像序列，尺寸为hv×wv。roi图像示例如图2所示。对roi图像序列进行颜色规范化处理，即：xv＝xv/255.0式中，xv表示roi图像序列。在roi图像序列中，以概率p进行水平翻转完成图像增强，即：得到预处理视觉信息数据。②原始音频数据预处理在听觉流的处理过程中，若直接以原始音频数据作为输入进行特征提取等操作，会存在无用特征过多的问题，本发明使用滑窗大小为40ms，滑窗滑动步长为10ms，采样率为16khz的stft算法，得到321维的频谱矩阵。使得听觉、视觉信息数据一一对应。对频谱矩阵使用最大最小归一化处理，有：其中，xa表示音频频谱矩阵信息数据，xa_min表示音频频谱矩阵信息数据中的最小值，xa_max表示音频频谱矩阵信息数据中的最大值，x′a表示音频频谱矩阵信息数据的最大最小归一化处理结果，即预处理后的听觉信息数据。(2)提出构建cbam-av-lipnet模型在唇读领域，为了提升视觉语音识别模型lipnet的收敛速度和识别精度，本发明对视觉信息和听觉信息的特征进行融合建立视听唇读网络模型av-lipnet，并引入基于卷积块注意机制提出构建cbam-av-lipnet模型。本发明提出构建的cbam-av-lipnet模型分为特征提取、特征融合和训练收敛的cbam-av-lipnet模型三部分。其中，特征提取部分，以预处理视觉信息数据为输入，经过3层cbam-stcnnmodule，1层bi-gru堆叠构成的视觉流，提取视觉深层特征。以预处理听觉信息数据为输入，经过3层cbam-cnnmodule，1层bi-gru堆叠构成的听觉流，提取听觉深层特征。特征融合部分是将视觉深层特征和听觉深层特征在时间维度上连接，通过2层bi-gru、1层fc和softmax层提取深层融合特征。最后以ctc损失函数计算损失值，并反向传播更新参数，得到训练收敛的cbam-av-lipnet模型。图3是提出cbam-av-lipnet模型的结构图。①提取视觉和听觉深层特征视觉流中的cbam-stcnnmodule是由时空卷积层、通道注意力模块以及空间注意力模块构成。时空卷积层提取特征的卷积操作为：式中：表示第l层的输出，表示第l-1层的输出，为第l层的学习权重参数，表示第l层的偏置，表示激活函数，c表示通道数，t表示时间步长，w表示特征映射的宽，h表示特征映射的高。将每一层卷积操作的输出结果输入到空间池化层中。空间池化操作对经过卷积处理得到的视觉时空特征进行降维，进一步提取视觉信息数据的深层特征，可以达到减少网络参数，优化模型结构，加快运行速度，缓解大量参数训练导致的过拟合现象，提升模型鲁棒性的效果。选取最大池化操作作为空间池化操作的操作方式，其过程为：由于cbam可使模型特异性地学习视觉信息数据特征，加快模型的训练速度，提升模型识别效果，本发明在每一层时空卷积层后连接一层cbam。其中cbam分为通道注意力模块和空间注意力模块。通道注意力模块以时空卷积层的输出即为输入，在空间维度上对进行最大池化操作和平均池化操作，分别得到通道池化向量和随后使用卷积共享网络对和进行处理得到新的通道池化向量和将二者相加并使用sigmoid激活函数使其值域映射至(0,1)，最终得到通道注意力矩阵mc。将通道注意力矩阵mc与时空卷积层的输出特征fv相乘得到视觉通道深层特征矩阵f′v。具体如下：式中：f′v表示视觉通道深层特征矩阵，fv表示视觉时空深层特征，表示外积操作，mc(·)表示通道注意力矩阵，f1(·)和f2(·)表示卷积操作，avgpool(·)为平均池化操作，maxpool(·)为最大池化操作，sigm(·)为sigmoid激活函数。空间注意力模块以视觉通道深层特征矩阵f′v为输入，在通道维度上对f′v进行最大池化和平均池化操作，分别得到空间池化向量和将空间池化向量和使用连接的方式进行合并，并利用卷积操作完成融合。使用sigmoid激活函数将其值域映射至(0,1)，最终得到空间注意力矩阵ms。将空间注意力矩阵ms与视觉通道深层特征矩阵f′v相乘得到视觉空间深层特征矩阵f″v。具体如下：式中：f″v表示视觉空间深层特征矩阵，表示连接操作，ms(·)表示空间注意力矩阵，f7×7×7表示7×7×7的卷积层。本发明利用bi-gru在时间维度上对视觉空间深层特征矩阵f″v进行深层整合，进一步提取时序特征，即视觉深层特征矩阵fv-final。具体提取特征的过程可描述为：式中：分别表示第1、2层bi-gru的更新门，rt(1)∈[0,1]、rt(2)∈[0,1]分别表示第1、2层bi-gru的重置门，分别表示第1、2层bi-gru的候选更新状态，分别表示第1、2层bi-gru的隐状态，w(·)，u(·)，b(·)为对应的学习参数，sigm(·)表示logistic激活函数，tanh(·)表示tanh激活函数，ht表示bi-gru的输出，即为视觉深层特征矩阵fv-final。听觉流中的cbam-cnnmodule是由卷积网络层、通道注意力机制模块以及空间注意力模块构成。卷积网络层中提取特征的卷积操作为：式中：表示第l-1层的输出，表示第l层的输出。为第l层的学习权重参数，表示第l层的偏置，表示激活函数，c为通道数，t为时间步长，f表示特征映射的尺寸大小。同理，为了进一步提取听觉信息数据的深层特征且达到减少网络参数，优化模型结构的目的，在每一层卷积操作后连接一层池化层，池化操作的过程为：fa″＝maxpool(fa″)＝max(fa″)随后在每一层卷积网络层后连接一层cbam，使得模型更有针对性地学习听觉信息数据特征。cbam同样分为通道注意力模块和空间注意力模块，令具体计算如下：式中：fa为听觉卷积深层特征，fa′表示听觉通道深层特征矩阵，fa″表示听觉空间深层特征矩阵，f7×7表示7×7的卷积层。最后，使用1层bi-gru对3层cbam-cnnmodule提取的听觉空间深层特征fa″进一步提取听觉深层时序特征，得到听觉深层特征矩阵fa-final。并与视觉流的视觉深层特征矩阵fv-final结构完成统一。②特征融合将视觉深层特征矩阵fv-final和听觉深层特征矩阵fa-final，在时间维度上进行连接，连接过程为：以2层bi-gru、1层fc和softmax层进行特征融合，提取视听双模态信息数据的深层融合特征。③训练收敛的cbam-av-lipnet模型以softmax层的输出作为cbam-av-lipnet模型的输出，使用ctc损失函数计算其与真实标签的损失值，依此进行反向传播，利用链式法则找出最小损失梯度，并根据学习率更新网络参数，得到训练收敛的cbam-av-lipnet模型。具体学习过程为：式中：θ_cbam-av-lipnet为cbam-av-lipnet模型的网络参数，d为训练集，x表示样本信息输入，l表示标签序列，xv为视觉信息数据，xa为听觉信息数据，b为ctc预测变换，π表示cbam-av-lipnet模型输出的识别文本信息序列，p(l|xv,xa)表示给定输入xa、xv的情况下，cbam-av-lipnet模型的输出与真实标签l序列一致的概率。(3)完成基于卷积块注意机制的视听双模态语音识别任务对视听双模态信息数据测试集输入至cbam-av-lipnet模型中，利用视觉流提取视觉深层特征，听觉流提取听觉深层特征，将提取的特征融合，进一步提取深层融合特征，得到深层融合特征向量。对深层融合特征向量采用ctc贪婪搜索解码算法进行解码，得到视听双模态信息数据的识别文本信息，最终完成视听双模态语音识别任务。为验证本发明提出的一种基于卷积块注意机制的视听双模态语音识别方法的有效性，分别给出视觉语音识别模型lipnet、传统语音识别模型a-lipnet、视听唇读网络模型av-lipnet和本发明提出的cbam-av-lipnet模型的结果比较，验证本发明对于唇读语音识别具有更好的效果。实验选取grid数据集中s1/priv7a、s2/lrblzs、s3/lbwe5a、s8/bbae5n样本信息数据集展示部分实验结果。样本的标签文本分别为：placeredinvsevenagain、layredbylzerosoon、laybluewithefiveagain和binblueatefivenow。图4给出了各语音识别模型的识别结果图。图4(a)是lipnet处理的视觉信息数据及识别文本结果，图4(b)是a-lipnet处理的听觉信息数据及识别文本结果，图4(c)是av-lipnet处理的视听双模态信息数据及识别文本结果，图4(d)是cbam-av-lipnet处理的视听双模态信息数据及识别文本结果。为定量分析各模型的识别性能，表1给出了各语音识别模型的测试识别单词错误率(wer)和测试识别字符错误率(cer)。wer的计算公式为：式中：ws、wd和wi分别为模型产生的单词序列向标签单词序列转换需要进行替换、删除、插入的单词数目。wn为标签单词序列的单词数目。cer的计算公式为：式中：cs、cd和ci分别为模型产生的字符序列向标签字符序列转换需要进行替换、删除、插入的字符数目。cn为标签字符序列的字符数目。表1各语音识别模型测试识别单词错误率和字符错误率模型测试识别单词错误率测试识别字符错误率lipnet16.82％6.56％a-lipnet2.14％1.13％av-lipnet1.04％0.42％cbam-av-lipnet1.02％0.38％从图4和表1可以看出，以视觉信息数据为输入的视觉语音识别模型lipnet的语音识别效果较差，以听觉信息数据为输入的传统语音识别模型a-lipnet的语音识别效果相对有提高。而以视听双模态信息数据为输入，对视觉信息和听觉信息的特征进行融合完成识别的视听唇读网络模型av-lipnet和引入基于卷积块注意机制提出构建cbam-av-lipnet模型，可将识别错误率进一步降低。也再次验证本发明提出的cbam-av-lipnet模型具有更好的识别性能。对lipnet、a-lipnet、av-lipnet和本发明提出的cbam-av-lipnet模型进行收敛速度测试。图5给出前100轮各语音识别模型训练损失曲线图。图6给出前100轮各语音识别模型训练单词错误率曲线图。由图5可以看出，本发明提出的cbam-av-lipnet模型训练损失值下降很快，具有更快的收敛速度。另外在图6中，相同训练单词错误率的情况下，本发明提出的cbam-av-lipnet模型，所需要的训练轮数最少，再次证明该模型具有良好的收敛性能，也进一步说明cbam-av-lipnet引入卷积块注意力机制后可更好地分配隐层权重，加速模型收敛。由于在真实复杂环境中，存在大量的噪声，而语音识别中的视觉信息数据不受听觉信息数据中噪声的影响，为测试各模型对含噪听觉信息数据的抗噪能力，本发明使用信噪比为20db、10db、-5db三种高斯白噪声对视听双模态信息数据中的听觉信息数据进行加噪处理，分别得到噪声强度低、中、高三个含噪视听双模态信息数据集。图7是各强度噪声下的部分听觉信息数据波形图示例。图7(a)是纯净听觉信息数据波形图，图7(b)是低噪(20db)听觉信息数据波形图，图7(c)是中噪(10db)听觉信息数据波形图，图7(d)是高噪(-5db)听觉信息数据波形图。图8给出低噪(20db)强度下各语音识别模型的识别结果图。图8(a)是低噪强度下lipnet处理的视觉信息数据及识别文本结果，图8(b)是低噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图8(c)是低噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图8(d)是低噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果。图9给出中噪(10db)强度下各语音识别模型的识别结果图。图9(a)是中噪强度下lipnet处理的视觉信息数据及识别文本结果，图9(b)是中噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图9(c)是中噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图9(d)是中噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果。图10给出高噪(-5db)强度下各语音识别模型的识别结果图。图10(a)是高噪强度下lipnet处理的视觉信息数据及识别文本结果，图10(b)是高噪强度下a-lipnet处理的听觉信息数据及识别文本结果，图10(c)是高噪强度下av-lipnet处理的视听双模态信息数据及识别文本结果，图10(d)是高噪强度下cbam-av-lipnet处理的视听双模态信息数据及识别文本结果。为定量分析各语音识别模型的抗噪性能，表2给出各语音识别模型在不同噪声强度下识别单词错误率。表3给出各语音识别模型在不同噪声强度下识别字符错误率。表2各语音识别模型在不同噪声强度下识别单词错误率表3各语音识别模型在不同噪声强度下识别字符错误率从表2和表3可以看出，视觉语音识别模型lipnet在各种噪声下的识别率均不变，不受含噪听觉信息数据的影响。传统语音识别模型a-lipnet在低强度噪声的影响下，识别性能有提升，但在中强度和高强度噪声的影响下，其识别性能大幅下降，说明a-lipnet模型的抗噪性能相对较弱。视听唇读网络模型av-lipnet在低强度和中强度噪声的影响下，仍能保持良好的识别性能，在高强度噪声的影响下，较a-lipnet模型在识别性能有一定程度的提高。本发明提出的cbam-av-lipnet模型在低强度噪声的影响下，能保持相对最好的识别性能，在中强度噪声的影响下，也能保持一定的识别性能，在高强度噪声的影响下，较a-lipnet、av-lipnet在识别性能有较大的提高，说明cbam-av-lipnet具有良好的抗噪能力。通过分别对lipnet、a-lipnet、av-lipnet和本发明提出的cbam-av-lipnet模型进行识别性能测试、收敛速度测试及抗噪能力测试可以得出，本发明提出的cbam-av-lipnet模型具有更好的识别效果。同时由于本发明提出的cbam-av-lipnet模型是在av-lipnet模型的基础上引入卷积块注意力机制，所以cbam-av-lipnet可以更合理的分配隐层参数权重，更快地学习视听双模态信息数据特征，具有更快的收敛速度。并且通过抗噪性能对比实验，验证了本发明提出的cbam-av-lipnet具有一定的抗噪能力和有效性。本发明提供的是一种基于卷积块注意机制的视听双模态语音识别方法。包括如下步骤：(1)对视听双模态信息数据集进行预处理；(2)提出构建基于卷积块注意机制的视听唇读网络(convolutionalblockattentionmoduleaudio-visuallipnet，cbam-av-lipnet)模型；(3)完成基于卷积块注意机制的视听双模态语音识别任务。本发明为了取得良好的视听双模态语音识别效果，提出一种基于卷积块注意机制的视听双模态语音识别方法。即针对原始视听双模态数据集中存在冗余，且数据中无用特征过多等问题，对原始数据集分别进行预处理，得到图像增强的嘴部兴趣区域(regionofinterest,roi)图像序列和短时傅里叶变换(short-timefouriertransform,stft)的归一化音频数据；在此基础上，为了提升视觉语音识别模型lipnet的收敛速度和识别精度，对视觉信息和听觉信息的特征进行融合建立视听唇读网络模型(audio-visuallipnet，av-lipnet)，并引入基于卷积块注意机制提出构建cbam-av-lipnet模型。以cbam-时空卷积神经网络模块(cbam-spatiotemporalconvolutionalneuralnetworksmodule,cbam-stcnnmodule)和双向门控循环单元网络(bidirectionalgatedrecurrentunit，bi-gru)构成视觉流提取视觉深层特征，以cbam卷积神经网络模块(cbam-convolutionalneuralnetworksmodule,cbam-cnnmodule)和bi-gru构成听觉流提取听觉深层特征。进一步将视觉深层特征和听觉深层特征在时间维度上连接，通过bi-gru、全连接层(fullyconnectedlayers，fc)和softmax层提取深层融合特征。最后以连接时序分类(connectionisttemporalclassification,ctc)损失函数计算损失值，并反向传播更新参数，得到训练收敛的cbam-av-lipnet模型；利用提出构建的cbam-av-lipnet模型对测试集进行特征提取得到深层融合特征向量，对其进行ctc贪婪搜索解码，获得识别文本信息，完成视听双模态语音识别任务。本发明提出的基于卷积块注意机制的视听双模态语音识别方法具有良好的识别性能和收敛速度，同时具有一定的抗噪能力和有效性。当前第1页1 2 3 

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除