HI,欢迎来到起点商标网!
24小时服务QQ:2880605093

音频对抗扰动的测试方法、设备及存储介质与流程

2021-01-28 12:01:16|302|起点商标网
本公开实施例涉及计算机与网络通信
技术领域:
:,尤其涉及一种音频对抗扰动的测试方法、设备及存储介质。
背景技术:
::目前,随着语音识别、声纹识别等音频处理技术的快速发展,其用途已经越来越广泛,可以为人们的生活提供各种各样的服务,并且大大提高了人机交互的效率,为人们的日常生产生活带来了极大的便利,但同时也容易受到隐藏的攻击,通过在原有音频中添加人耳不能发觉的扰动,则可能导致音频处理模型产生错误的处理结果。对抗性扰动生成目的是为音频处理模型等机器学习模型产生对抗性扰动,以欺骗训练良好的机器学习模型,产生错误的处理结果,进而可基于对抗性音频样本对机器学习模型进行优化,以提升模型性能。现有技术中,对于某一音频处理模型,通常是通过特定的攻击网络模型生成一干扰信号,基于干扰信号对输入音频信号进行干扰,得到对抗音频样本,再基于对抗音频样本对音频处理模型进行对抗性攻击。现有技术中基于攻击网络得到的对抗音频样本的对抗性攻击性能较差,且不能够很好的适应不同的音频处理模型。技术实现要素:本公开实施例提供一种音频对抗扰动的测试方法、设备及存储介质,以提高对抗音频样本的对抗性攻击性能,提高对音频处理模型进行对抗性攻击的成功率。第一方面,本公开实施例提供一种音频对抗扰动的测试方法,包括:将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器;基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。根据本公开的一个或多个实施例,所述根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器,包括:将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。根据本公开的一个或多个实施例,所述根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器,包括:根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器;或者将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。根据本公开的一个或多个实施例,所述攻击性能参数包括攻击成功率和/或对抗音频信号的扰动规模参数。根据本公开的一个或多个实施例,所述方法还包括:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。根据本公开的一个或多个实施例,所述基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器,包括:通过如下公式构建所述备选带通滤波器:g[n,f1,f2]=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。根据本公开的一个或多个实施例,所述方法还包括:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。根据本公开的一个或多个实施例,所述基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,包括:获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。第二方面,本公开实施例提供一种音频对抗扰动的测试设备,包括:干扰信号获取单元,用于将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;带通滤波器确定单元,用于根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器;对抗性攻击单元,用于基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器确定单元在根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器时,用于:将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器确定单元在根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器时,用于:根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器;或者将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。根据本公开的一个或多个实施例,所述攻击性能参数包括攻击成功率和/或对抗音频信号的扰动规模参数。根据本公开的一个或多个实施例,所述设备还包括带通滤波器构建模块,用于:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器构建模块在基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器时,用于:通过如下公式构建所述备选带通滤波器:g[n,f1,f2]=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。根据本公开的一个或多个实施例,所述设备还包括训练模块,用于:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。根据本公开的一个或多个实施例,所述对抗性攻击单元在基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试时,用于:获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。第三方面,本公开实施例提供一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的音频对抗扰动的测试方法。第四方面,本公开实施例提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上第一方面以及第一方面各种可能的设计所述的音频对抗扰动的测试方法。本公开实施例提供的音频对抗扰动的测试方法、设备及存储介质,通过将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号,至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;根据每个备选带通滤波器对应的第二干扰信号、初始音频信号以及目标音频处理模型,从至少两个备选带通滤波器中确定出目标带通滤波器;基于对抗性攻击模型对目标音频处理模型进行对抗性攻击测试,其中对抗性攻击模型中的带通滤波器为目标带通滤波器。本公开实施例通过在对抗性攻击模型中配置至少两个备选带通滤波器,并通过确定对抗性攻击模型的目标带通滤波器,使得对抗性攻击模型能够针对目标音频处理模型生成合适的对抗音频样本,从而达到所需的对抗性攻击性能,提高对目标音频处理模型进行对抗性攻击的成功率,为目标音频处理模型的优化提供基础。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。图1为本公开实施例提供的应用场景的示例图;图2为本公开一实施例提供的音频对抗扰动的测试方法流程示意图;图3为本公开另一实施例提供的音频对抗扰动的测试方法流程示意图;图4为本公开一实施例提供的备选带通滤波器进行滤波的图谱示意图;图5为本公开另一实施例提供的音频对抗扰动的测试方法流程示意图;图6为本公开实施例提供的音频对抗扰动的测试设备的结构框图;图7为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本公开保护的范围。现有技术中,对于某一音频处理模型,通常是通过特定的攻击网络模型生成一干扰信号,基于干扰信号对输入音频信号进行干扰,得到对抗音频样本,再基于对抗音频样本对音频处理模型进行对抗性攻击。其中攻击网络模型可以通过预先训练得到。基于攻击网络得到的对抗音频样本的对抗性攻击性能较差,且不能够很好的适应不同的音频处理模型。由于攻击网络生成的干扰信号的频域在一个较宽的频段范围内,而人的耳朵对不同频段的声音信号的敏感程度不同,较宽频段的干扰信号不利于合成不可感知的对抗性扰动,从而导致基于攻击网络得到的对抗音频样本的对抗性攻击性能较差。通过对干扰信号进行频域分析,发现在干扰信号处于不同频率上时所合成的对抗音频样本,对于音频处理模型的对抗性攻击性能有所不同,例如对于说话人识别模型(speakerrecognitionsystems),加入高频干扰信号的对抗音频样本的对抗性攻击性能优于加入低频干扰信号的对抗音频样本;而对于其他的音频处理模型,干扰信号的频率也会产生不同的对抗性攻击性能。因此,本公开实施例中在生成对抗样本时,在攻击网络的基础上,增加了带通滤波器对攻击网络产生的干扰信号进行滤波,构成一对抗性攻击模型;而为了对每一种音频处理模型都能达到最优的对抗性攻击性能,因此,本公开实施例中在对抗性攻击模型中配置至少两个备选带通滤波器,各备选带通滤波器具有不同的通带,而在生成对抗样本前,可先确定最优的目标带通滤波器,从而才能基于对抗性攻击模型中的攻击网络和目标带通滤波器生成对抗音频样本。本公开实施例提供的应用场景可如图1所示,包括对抗性攻击模型和目标音频处理模型,其中对抗性攻击模型和目标音频处理模型可部署于同一服务器等电子设备上,当然也可部署于不同的服务器等电子设备上,其中对抗性攻击模型具体可包括攻击网络和带通滤波器(可包括至少两个备选带通滤波器,图1仅为示例),初始音频信号输入到对抗性攻击模型中,通过攻击网络获取第一干扰信号,通过带通滤波器进行滤波,得到第二干扰信号,再与初始音频信号进行融合,得到对抗音频信号,再输入到目标音频处理模型根据音频处理结果判断是否攻击成功,还可检测对抗音频信号的扰动规模参数的大小,确定干扰是否易被感知。由于对抗性攻击模型包括至少两个备选带通滤波器,因此可产生至少两个对抗音频信号,可通过比较音频处理结果的攻击成功率,以及对抗音频信号的扰动规模参数的大小,从而可确定对抗性攻击模型的目标带通滤波器,例如,具体的可确定攻击效果最优的对抗音频信号,进而将最优的对抗音频信号对应的备选带通滤波器作为最优的备选带通滤波器,作为对抗性攻击模型的目标带通滤波器,进而基于对抗性攻击模型的攻击网络和目标带通滤波器对目标音频处理模型进行后续的对抗性攻击测试。本公开实施例中的目标音频处理模型可以为应用在任意场景中的实现任意任务的音频处理模型,包括但不限于说话人识别模型、语音识别模型、声纹识别模型、基于语音到的年龄识别模型、性别识别模型等等。下面结合具体实施例对音频对抗扰动的测试方法进行详细解释。参考图2,图2为本公开实施例提供的音频对抗扰动的测试方法流程示意图。本实施例的方法可以应用在终端设备或服务器等任意电子设备中,该音频对抗扰动的测试方法包括:s201、将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号。在本实施例中,对抗性攻击模型包括攻击网络和带通滤波器,其中攻击网络用于根据初始音频信号获取第一干扰信号,而带通滤波器用于对第一干扰信号进行滤波,从而得到特定通带的干扰信号,再与初始音频信号进行融合,从而得到用于对目标音频处理模型进行对抗性攻击的对抗音频信号,以便于根据该对抗音频信号对目标音频处理模型进行对抗性攻击,达到最优的对抗性攻击效果,进而有利于提高目标音频处理模型的准确性和鲁棒性。本实施例中的初始音频信号可以为任意的音频信号,而攻击网络和目标音频处理模型可以为深度神经网络、卷积神经网络等任意模型,其中目标音频处理模型可以为应用在任意场景中的实现任意任务的音频处理模型,包括但不限于说话人识别模型、语音识别模型、声纹识别模型、基于语音到的年龄识别模型、性别识别模型等等。而攻击网络可以是针对于目标音频处理模型的攻击网络,预先可以进行训练,例如可以通过如下过程进行训练:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。其中攻击网络可以为带跳跃连接的残差网络,此外,本实施例中还可采用现有的不同优化方法来训练攻击网络,具体训练过程此处不再赘述。s202、采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带。在本实施例中,为了找到使对抗音频信号能够达到所需的攻击效果,可以确定合适通带的干扰信号与初始音频信号进行融合,而带通滤波器用于对对攻击网络输出到的干扰信号进行滤波,若带通滤波器能够将干扰信号限制在合适的通带下,则可以的得到合适的对抗音频信号,进而才能达到所需的攻击效果,也即本公开中每个备选带通滤波器对应的第二干扰信号为第一干扰信号经过每个备选带通滤波器进行滤波处理后得到的干扰信号。因此本实施例中,可设置至少两个备选带通滤波器,每一备选带通滤波器具有不同的通带,例如,采样率为16khz,可设置如下通带的备选带通滤波器:[0,1k],[1k,2k],[2k,3k],[3k,4k],[4k,5k],[5k,6k],[6k,7k],[7k,8k]。本实施例中将的第一干扰信号分别输入到各备选带通滤波器,各备选带通滤波器分别对第一干扰信号进行滤波,得到各备选带通滤波器对应到的第二干扰信号。s203、根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器。在本实施例中,在获取得到各备选带通滤波器对应的第二干扰信号后,可基于各备选带通滤波器对应的第二干扰信号、初始音频信号、以及目标音频处理模型,从至少两个备选带通滤波器中确定出对抗性攻击模型的目标带通滤波器。可选的,如图3所示,本实施例中在确定目标带通滤波器时,可通过如下过程实现:s2031、将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;s2032、根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;s2033、根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。在本实施例中,对于每一备选带通滤波器对应的第二干扰信号,可将其与初始音频信号进行融合,例如可直接将第二干扰信号叠加在初始音频信号上,从而得到对应的对抗音频信号,然后将对抗音频信号输入得到目标音频处理模型中,获取音频处理结果,根据音频处理结果确定攻击成功率的大小,和/或检测对抗音频信号的扰动规模参数的大小,作为备选带通滤波器对应的攻击性能参数,其中对抗音频信号的扰动规模参数可以为主观语音质量评估(perceptualevaluationofspeechquality,简称pesq)的mos值(meanopinionscore,平均意见值),用来表征对抗音频信号中的第二干扰信号是否可被感知,mos值越大则第二干扰信号越不可被感知。通过比较各备选带通滤波器的对应到的对抗音频信号的攻击性能参数,从而可以基于攻击性能参数确定出目标带通滤波器。也即,本实施例中可选的,可根据各对抗音频信号分别对目标音频处理模型进行对抗性攻击测试,获取各对抗音频信号对应的攻击性能参数;根据各对抗音频信号对应的攻击性能参数确定目标带通滤波器,例如将攻击性能参数最优的对抗音频信号对应的备选带通滤波器作为目标带通滤波器。其中,可选的,所述攻击性能参数可包括但不限于攻击成功率和/或对抗音频信号的扰动规模参数。在一种可选实施例中,本实施例中可根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器。在本实施例中,在得到每个备选带通滤波器对应的攻击性能参数后,可按照攻击性能参数对备选带通滤波器进行排序,选择攻击性能参数最好的备选带通滤波器作为目标带通滤波器,其中攻击性能参数最好可以为攻击成功率最高和/或对抗音频信号的扰动规模参数最大。在一种示例中,以目标音频处理模型为说话人识别模型作为示例,备选带通滤波器的预设通带包括:[0,1k],[1k,2k],[2k,3k],[3k,4k],[4k,5k],[5k,6k],[6k,7k],[7k,8k],对第一干扰信号滤波后,分别得到对应的第二干扰信号如图4所示,再通过融合处理过程分别的得到各备选带通滤波器对应的对抗音频信号,输入到目标音频处理模型后,根据输出到的音频处理结果可以确定各对抗音频信号的攻击成功率,还可检测各对抗音频信号的扰动规模参数,并基于各对抗音频信号的攻击成功率和各对抗音频信号的扰动规模参数进行排序后,通过分析,可以发现,对于说话人识别模型,高频攻击比低频攻击能获得更好的攻击性能,其中通带为[6k,7k]和[7k,8k]的备选带通滤波器,其对应的对抗音频信号的攻击成功率达到75%以上,对抗音频信号的扰动规模参数中pesq的mos值达到4.0以上,对抗音频信号中的干扰信号不易被感知,也即可以将高频的备选带通滤波器为最优的备选带通滤波器,作为目标带通滤波器。当然对于不同的目标音频处理模型而言,最终确定的目标带通滤波器可能不同。在另一种可选实施例中,本实施例中也可将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。在本实施例中,可以设定攻击成功率阈值和/或对抗音频信号的扰动规模参数阈值,例如,对抗音频信号的攻击成功率阈值可以为75%,对抗音频信号的扰动规模参数阈值可以为pesq的mos值达到4.0,当然也可根据实际情况进行设定。当某一备选带通滤波器对应的攻击成功率大于攻击成功率阈值和/或对抗音频信号的扰动规模参数大于对抗音频信号的扰动规模参数阈值时,则将该备选带通滤波器作为目标带通滤波器。s204、基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。在本实施例中,在确定了目标带通滤波器后,相当于确定了对抗性攻击模型,也即对抗性攻击模型此时包括攻击网络和目标带通滤波器,进而可基于对抗性攻击模型对目标音频处理模型进行对抗性攻击测试,进而可为目标音频处理模型抵御对抗性攻击提供基础。而在基于对抗性攻击模型对目标音频处理模型进行对抗性攻击测试时,需要获取一个或多个用于对抗性攻击测试的音频信号,输入到对抗性攻击模型中进行处理,以得到对抗音频信号,再基于对抗音频信号对目标音频处理模型进行对抗性攻击测试,其中用于对抗性攻击测试的音频信号可与上述实施例中的初始音频信号不同。本实施例提供的音频对抗扰动的测试方法,通过将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号,至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;根据每个备选带通滤波器对应的第二干扰信号、初始音频信号以及目标音频处理模型,从至少两个备选带通滤波器中确定出目标带通滤波器;基于对抗性攻击模型对目标音频处理模型进行对抗性攻击测试,其中对抗性攻击模型中的带通滤波器为目标带通滤波器。本实施例通过在对抗性攻击模型中配置至少两个备选带通滤波器,并通过确定对抗性攻击模型的目标带通滤波器,使得对抗性攻击模型能够针对目标音频处理模型生成合适的对抗音频样本,从而达到所需的对抗性攻击性能,提高对目标音频处理模型进行对抗性攻击的成功率,为目标音频处理模型的优化提供基础。在上述任一实施例的基础上,所述方法还可预先构建备选带通滤波器,具体过程如下:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。在本实施例中,可以预先设置至少2个预设通带,例如[0,1k],[1k,2k],[2k,3k],[3k,4k],[4k,5k],[5k,6k],[6k,7k],[7k,8k]等,再分别根据至少两个预设通带以及汉明窗口(hamming)构建至少两个备选带通滤波器。当然本实施例中也可采用其他形式的时间窗口,此处不再赘述。进一步的,所述基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器,具体可包括:通过如下公式构建具有汉明窗口到的33点带通滤波器:g[n,f1,f2]=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。在上述任一实施例的基础上,如图5所示,所述基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,具体可以包括:s301、获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;s302、将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;s303、根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。在本实施例中,在确定了目标带通滤波器,也即确定了对抗性攻击模型,进而在需要对目标音频处理模型进行对抗性攻击时,采用该对抗性攻击模型,首先可获取用于对抗性攻击测试的音频信号,作为对抗性攻击模型的输入,通过对抗性攻击模型的攻击网络获取初始干扰信号,再通过目标带通滤波器得到目标干扰信号,进而将目标干扰信号与对抗性攻击测试的音频信号融合,得到目标对抗音频信号,基于目标对抗音频信号对目标音频处理模型进行对抗性攻击测试。对应于上文实施例的音频对抗扰动的测试方法,图6为本公开实施例提供的音频对抗扰动的测试设备的结构框图。为了便于说明,仅示出了与本公开实施例相关的部分。参照图6,所述音频对抗扰动的测试设备60包括:干扰信号获取单元601、带通滤波器确定单元602、以及对抗性攻击单元603。其中,干扰信号获取单元601,用于将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;带通滤波器确定单元602,用于根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器;对抗性攻击单元603,用于基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。在本公开的一个实施例中,所述带通滤波器确定单元602在根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器时,用于:将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。在本公开的一个实施例中,所述带通滤波器确定单元602在根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器时,用于:根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器;或者将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。在本公开的一个实施例中,所述攻击性能参数包括攻击成功率和/或对抗音频信号的扰动规模参数。在本公开的一个实施例中,所述设备还包括带通滤波器构建模块,用于:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。在本公开的一个实施例中,所述带通滤波器构建模块在基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器时,用于:通过如下公式构建所述备选带通滤波器:g[n,f1,f2]=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。在本公开的一个实施例中,所述设备还包括训练模块,用于:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。在本公开的一个实施例中,所述对抗性攻击单元603在基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试时,用于:获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。本实施例提供的音频对抗扰动的测试设备,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。本实施例提供的音频对抗扰动的测试设备,通过将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号,至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;根据每个备选带通滤波器对应的第二干扰信号、初始音频信号以及目标音频处理模型,从至少两个备选带通滤波器中确定出目标带通滤波器;基于对抗性攻击模型对目标音频处理模型进行对抗性攻击测试,其中对抗性攻击模型中的带通滤波器为目标带通滤波器。本实施例通过在对抗性攻击模型中配置至少两个备选带通滤波器,并通过确定对抗性攻击模型的目标带通滤波器,使得对抗性攻击模型能够针对目标音频处理模型生成合适的对抗音频样本,从而达到所需的对抗性攻击性能,提高对目标音频处理模型进行对抗性攻击的成功率,为目标音频处理模型的优化提供基础。参考图7,其示出了适于用来实现本公开实施例的电子设备700的结构示意图,该电子设备700可以为终端设备或服务器。其中,终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、个人数字助理(personaldigitalassistant,简称pda)、平板电脑(portableandroiddevice,简称pad)、便携式多媒体播放器(portablemediaplayer,简称pmp)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图7示出的电子设备仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。如图7所示,电子设备700可以包括处理装置(例如中央处理器、图形处理器等)701,其可以根据存储在只读存储器(readonlymemory,简称rom)702中的程序或者从存储装置708加载到随机访问存储器(randomaccessmemory,简称ram)703中的程序而执行各种适当的动作和处理。在ram703中,还存储有电子设备700操作所需的各种程序和数据。处理装置701、rom702以及ram703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。通常,以下装置可以连接至i/o接口705:包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置706;包括例如液晶显示器(liquidcrystaldisplay,简称lcd)、扬声器、振动器等的输出装置707;包括例如磁带、硬盘等的存储装置708;以及通信装置709。通信装置709可以允许电子设备700与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备700,但是应理解的是,并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信装置709从网络上被下载和安装,或者从存储装置708被安装,或者从rom702被安装。在该计算机程序被处理装置701执行时,执行本公开实施例的方法中限定的上述功能。需要说明的是,本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:电线、光缆、rf(radiofrequency,射频)等等,或者上述的任意合适的组合。上述计算机可读介质可以是上述电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该电子设备执行时,使得该电子设备执行上述实施例所示的方法。可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码,上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(localareanetwork,简称lan)或广域网(wideareanetwork,简称wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。其中,单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取至少两个网际协议地址的单元”。本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如,非限制性地,可以使用的示范类型的硬件逻辑部件包括:现场可编程门阵列(fieldprogrammablegatearray,简称fpga)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、专用标准产品(applicationspecificstandardparts,简称assp)、片上系统(systemonchip,简称soc)、复杂可编程逻辑设备(complexprogramminglogicdevice,简称cpld)等等。在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。根据本公开的一个或多个实施例,提供了一种音频对抗扰动的测试方法,包括:将初始音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器;基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。根据本公开的一个或多个实施例,所述根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器,包括:将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。根据本公开的一个或多个实施例,所述根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器,包括:根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器;或者将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。根据本公开的一个或多个实施例,所述攻击性能参数包括攻击成功率和/或对抗音频信号的扰动规模参数。根据本公开的一个或多个实施例,所述方法还包括:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。根据本公开的一个或多个实施例,所述基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器,包括:通过如下公式构建所述备选带通滤波器:g[n,f1,f2|=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。根据本公开的一个或多个实施例,所述方法还包括:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。根据本公开的一个或多个实施例,所述基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,包括:获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。根据本公开的一个或多个实施例,提供了一种音频对抗扰动的测试设备,包括:干扰信号获取单元,用于将音频信号输入到对抗性攻击模型中的攻击网络进行处理,得到第一干扰信号;采用至少两个备选带通滤波器分别对所述第一干扰信号进行滤波处理,得到每个备选带通滤波器对应的第二干扰信号;其中所述至少两个备选带通滤波器中的任意两个备选带通滤波器具有不同的通带;带通滤波器确定单元,用于根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器;对抗性攻击单元,用于基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试,其中,所述对抗性攻击模型中的带通滤波器为所述目标带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器确定单元在根据每个备选带通滤波器对应的第二干扰信号、所述初始音频信号以及目标音频处理模型,从所述至少两个备选带通滤波器中确定出目标带通滤波器时,用于:将每个备选带通滤波器对应的第二干扰信号与所述初始音频信号进行融合,得到每个备选带通滤波器对应的对抗音频信号;根据每个备选带通滤波器对应的对抗音频信号对所述目标音频处理模型进行对抗性攻击测试,获取每个备选带通滤波器对应的攻击性能参数;根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器确定单元在根据每个备选带通滤波器对应的攻击性能参数,从所述至少两个备选带通滤波器中确定出所述目标带通滤波器时,用于:根据所述至少两个备选带通滤波器中的每个备选带通滤波器对应的攻击性能参数对所述至少两个备选带通滤波器进行排序,确定目标带通滤波器;或者将对应的攻击性能参数满足预设条件的备选带通滤波器确定为所述目标带通滤波器。根据本公开的一个或多个实施例,所述攻击性能参数包括攻击成功率和/或对抗音频信号的扰动规模参数。根据本公开的一个或多个实施例,所述设备还包括带通滤波器构建模块,用于:基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器。根据本公开的一个或多个实施例,所述带通滤波器构建模块在基于至少两个预设通带以及汉明窗口,构建所述至少两个备选带通滤波器时,用于:通过如下公式构建所述备选带通滤波器:g[n,f1,f2|=2f2sinc(2πf2n)-2f1sinc(2πf1n)(3)其中,h(t)表示备选带通滤波器输入的第一干扰信号,h′(t)表示备选带通滤波器输出的第二干扰信号;sinc(x)=sinx/x;f1和f2是通带的下限截止频率和上限截止频率;w表示汉明窗口;n为汉明窗口中音频信号的时间戳,n=-16,-15,-14,...,14,15,16。根据本公开的一个或多个实施例,所述设备还包括训练模块,用于:获取针对初始的攻击网络的训练数据;基于所述训练数据以及梯度反向传播过程,对初始的攻击网络进行训练,得到所述抗性攻击模型的攻击网络。根据本公开的一个或多个实施例,所述对抗性攻击单元在基于所述对抗性攻击模型对所述目标音频处理模型进行对抗性攻击测试时,用于:获取用于对抗性攻击测试的音频信号,输入到所述确定了目标带通滤波器的对抗性攻击模型中,通过攻击网络和目标带通滤波器得到目标干扰信号;将所述目标干扰信号与所述对抗性攻击测试的音频信号融合,得到目标对抗音频信号;根据所述目标对抗音频信号对所述目标音频处理模型进行对抗性攻击测试。根据本公开的一个或多个实施例,提供了一种电子设备,包括:至少一个处理器和存储器;所述存储器存储计算机执行指令;所述至少一个处理器执行所述存储器存储的计算机执行指令,使得所述至少一个处理器执行如上述各方法实施例以及图2、3、5中的各种可能的设计所述的音频对抗扰动的测试方法。根据本公开的一个或多个实施例,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如上述各方法实施例以及图2、3、5中的各种可能的设计所述的音频对抗扰动的测试方法。以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的公开范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述公开构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。此外,虽然采用特定次序描绘了各操作,但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下,多任务和并行处理可能是有利的。同样地,虽然在上面论述中包含了若干具体实现细节,但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地,在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题,但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反,上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。当前第1页1 2 3 当前第1页1 2 3 

起点商标作为专业知识产权交易平台,可以帮助大家解决很多问题,如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通,为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除

tips