一种双麦克风下的定向拾音方法及相关装置与流程

2021-01-28 15:01:01|

330|

起点商标网

本申请涉及语音识别领域，尤其涉及一种双麦克风下的定向拾音方法及相关装置。

背景技术：

随着语音交互技术的发展，传统的仅支持主驾声源的语音识别系统已经不能满足需求。目前需要同时支持主副驾声源的语音识别的功能，即需要能够拾取主驾声源和副驾声源的语音识别系统。由于车载场景中，语音识别通常会受到路噪、风噪、胎噪等环境噪声以及音乐、人声等干扰的影响，造成语音识别效果的严重下降。因此，针对双麦克风的车载场景下的定向拾音，在车内多人同时说话时，需要分离出主副驾声源，同时抑制后排乘客的干扰，以便语音识别系统依据拾取的主副驾声源，准确识别主副驾声源包含的指令。

对于双麦克风的车载场景下的定向拾音，传统的拾音方法为波束形成方法，例如，最小方差无失真响应波束形成、线形约束最小方差波束形成，以及广义旁瓣抑制等。

但是，传统的拾音方法应用于车内双麦克风的车载场景下，存在抗干扰能力差的问题，即拾取的主副驾声源中残留有较多的干扰语音、音乐等噪声等。

技术实现要素：

本申请提供了一种双麦克风下的定向拾音方法及相关装置，目的在于解决传统的波束形成方法拾取主副驾声源的抗干扰能力差的问题。

为了实现上述目的，本申请提供了以下技术方案：

本申请提供了一种双麦克风下的定向拾音方法，包括：

依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵的各个原子的时延；所述各个原子的时延表示所述采样语音信号下该原子表示的预设语音成分到达双麦克风的时间差；

将所述字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子；

分别计算所述字典矩阵的各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成于表征所述语音信号中，所述待拾音方向的语音的频率分布的频域滤波器

依据所述频域信号和所述频域滤波器，确定所述采样语音信号中所述待拾音方向的语音信号。

可选的，所述依据所述频域信号和所述频域滤波器，确定所述采样语音信号中所述待拾音方向的语音信号，包括：

采用所述频域滤波器对所述频域信号进行滤波，得到滤波后的频域信号；

对所述滤波后的频域信号分别进行时频逆变换，得到所述采样语音信号中所述待拾音方向的语音信号。

可选的，所述频域信号包括：第一频域信号和第二频域信号；

所述依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵的各个原子的时延，包括：

依据所述第一频域信号和所述第二频域信号，计算每个原子的时延函数；其中，f表示频率，d表示原子，wfd表示所述字典矩阵；d表示时延；xlf与xrf分别表示第一频域信号和第二频域信号；fdτ表示计算得到的原子的时延函数；

分别针对每个原子的时延函数，将时延函数的取极大值情况下的时延，作为原子的时延，得到所述字典矩阵的各个原子的时延。

可选的，所述分别计算所述字典矩阵中的各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器，包括：

如果所述字典矩阵的原子的时延与所述待拾音方向的语音的时延之间的差值的绝对值小于预设阈值，则原子的二值取值为1，否则二值取值为0；

分别计算所述字典矩阵的各个频率下全部原子的频率幅度值与对应二值取值的加权和，与，该频率下全部原子的频率幅度值之和的比值；

将各个频率与对应的比值，组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器。

可选的，所述预设的字典矩阵的生成过程，包括：

将双麦克风分别对应的预设训练数据，分别进行时频变换并取绝对值，得到两个非负的幅度谱矩阵；

通过非负矩阵分解算法，将所述幅度谱矩阵分解为目标字典矩阵和系数矩阵；

依据预设的目标函数，迭代更新目标字典矩阵和系数矩阵，直至将在所述目标函数收敛的情况下得到的目标字典矩阵作为所述预设的字典矩阵。

本申请还提供了一种双麦克风下的定向拾音装置，包括：

第一计算模块，用于依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵中各个原子的时延；所述各个原子的时延表示所述采样语音信号下该原子表示的预设语音成分到达双麦克风的时间差；

第一确定模块，用于将所述字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子；

第二计算模块，用于分别计算所述字典矩阵各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述语音信号中，所述待拾音方向的语音的频率分布的频域滤波器；

第二确定模块，用于依据所述频域信号和所述频域滤波器，确定所述采样语音信号中所述待拾音方向的语音信号。

可选的，所述第二确定模块，用于依据所述频域信号和所述频域滤波器，确定所述采样语音信号中所述待拾音方向的语音信号，包括：

所述第二确定模块，具体用于采用所述频域滤波器对所述频域信号进行滤波，得到滤波后的频域信号；对所述滤波后的频域信号分别进行时频逆变换，得到所述采样语音信号中所述待拾音方向的语音信号。

可选的，所述频域信号包括：第一频域信号和第二频域信号；

所述第一计算模块，用于依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵中各个原子的时延，包括：

所述第一计算模块，具体用于依据所述第一频域信号和所述第二频域信号，计算每个原子的时延函数；其中，f表示频率，d表示原子，wfd表示所述字典矩阵；d表示时延；xlf与xrf分别表示第一频域信号和第二频域信号；fdτ表示计算得到的原子的时延函数；

分别针对每个原子的时延函数，将时延函数的取极大值情况下的时延，作为原子的时延，得到所述字典矩阵的各个原子的时延。

可选的，所述第二计算模块，用于分别计算所述字典矩阵中的各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器，包括：

所述第二计算模块，具体用于如果所述字典矩阵的原子的时延与所述待拾音方向的语音的时延之间的差值的绝对值小于预设阈值，则原子的二值取值为1，否则二值取值为0；分别计算所述字典矩阵的各个频率下全部原子的频率幅度值与对应二值取值的加权和，与，该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值，组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器。

本申请还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一种所述的双麦克风下的定向拾音方法。

本申请所述的双麦克风下的定向拾音方法及相关装置，依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵的各个原子的时延；其中，计算得到的各个原子的时延表示采样语音信号下该原子表示的预设语音成分到达双麦克风的时间差。因此，本申请将字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子，该目标原子为代表待拾音方向的语音的原子。

进而，通过分别计算字典矩阵中各个频率下目标原子的频率幅度值之和与该频率下的全部原子的频率幅度值之和的比值，使得各个频率与对应比值组成的频域滤波器反映的是：预设拾音波束范围内待拾音方向的语音的频率分布。因此，本申请通过频率滤波器滤波得到的待拾音方向的语音信号不包括其他方向的信号，因此，本申请提供的双麦克风下的定向拾音方案实现定向拾音的抗干扰能力得到提高。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例公开的完成训练的字典矩阵的训练过程示意图；

图2为本申请实施例公开的一种双麦克风下的定向拾音方法的流程图；

图3(a)为本申请实施例公开的主副驾上同时产生声源时，采样语音信号与定向拾取的语音信号在时域上的对比图；

图3(b)为本申请实施例公开的主副驾上同时产生声源时，采样语音信号与定向拾取的语音信号在频域上的对比图；

图4为本申请实施例公开的一种双麦克风下的定向拾取装置的结构示意图；

图5为本申请实施例公开的一种设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种字典矩阵的训练过程，可以包括以下步骤：

s101、将双麦克风分别对应的预设训练数据，分别进行时频变换并取绝对值，得到两个非负的幅度谱矩阵。

在本实例中，预设训练数据可以为5min双通道的带噪声语音数据。当然，在实际中，预设训练数据的时长可以根据实际情况确定，本实施例不对时长的具体内容作限定。

在本实施例中，得到的一个幅度谱矩阵可以表示为xft，其中f表示频率，t表示时间。

s102、通过非负矩阵分解算法，将幅度谱矩阵分解为目标字典矩阵和系数矩阵。

在本实施例中，通过非负矩阵分解(non-negativematrixfactorization,nmf)，将幅度谱矩阵分解为字典矩阵和系数矩阵，其中，为了描述方便，将本步骤分解得到的字典矩阵，称为目标字典矩阵。在本实施例中，字典矩阵可以采用wfd表示，其中，d为字典矩阵的列数，并且，总列数还表示字典矩阵包括的原子的个数。系数矩阵可以采用hdt表示。

在实际中，字典矩阵的原子的个数可以为2ⁿ，当然，也可以为其他个数，本实施例不对个数的具体取值作限定。其中，字典矩阵的原子的个数增加对待拾音方向的语音拾取和干扰抑制能力有相应的改善，但同时也会增加计算复杂度，在实际应用中需要根据实际情况进行选取。

本步骤的具体实现方式为现有技术，这里不再赘述。

s103、依据预设的目标函数，迭代更新目标字典矩阵和系数矩阵，直至将目标函数收敛的情况下得到的目标字典矩阵作为完成训练的字典矩阵。

在本实施例中，对分解得到的目标字典矩阵和系数矩阵进行迭代优化，具体的，依据预设的目标函数，迭代更新目标字典矩阵和系数矩阵，直至目标函数收敛。并将目标函数收敛的情况下得到的目标字典矩阵，作为完成训练的字典矩阵。在本实施例中，可以将训练完成的字典矩阵作为预设的字典矩阵。

在本实施例中，目标函数可以为欧几里得距离或kl散度，当然，在实际中，还可以采用其他函数作为目标函数，本实施例不对目标函数的具体形式作限定。

图2为本申请实施例提供的一种双麦克风下的定向拾音方法，包括以下步骤：

s201、获取双麦克风分别采集的语音信号。

在本实施例中，双麦克风分别采集的语音信号可以包括主副驾的声源，也包括车内其他方向的声源。

在本步骤中，获取双麦克风分别采集的语音信号。

s202、对双麦克风采集的语音信号分别进行采样，得到双麦克风分别对应的采样语音信号。

在本实施例中，采样频率可以为16000hz，可以选取帧长512个采样点作为当前待处理的采样语音信号，采用以下步骤进行处理。在实际中，采用帧移为10ms(160个采样点)，选择汉宁窗，将每次帧移得到的帧长为512的采样点作为采样语音信号，分别进行以下步骤的流程处理。在本实施例中，为了描述方便，针对一次采样得到的帧长为512个采样点为采样语音信号，进行以下流程的介绍。

需要说明的是，采样频率为16000hz，帧长为512个采样点，帧移为10ms，都只是一种具体的实现方式，在实际中，这些参数还可以为其他取值，本实施例不对具体的取值作限定。

s203、对双麦克风分别对应的采样语音信号，分别进行时频变换，得到第一频域信号和第二频域信号。

在本实施例中，时频变换的方式可以为傅里叶变换，当然，在实际中，时频变换除了傅里叶变换之外，还可以采用其他变换方式，本实施例不对具体的时频变换方式作限定。

在本实施例中，为了描述方便，将对双麦克风分别对应的采样语音信号进行时频变换，得到的信号，称为第一频域信号和第二频域信号。

s204、依据第一频域信号与第二频域信号，计算完成训练的字典矩阵的各个原子的时延。

在本实施例中，第一频域信号和第二频域信号包括来自不同方向的语音频域信号，例如，都包括来自主驾方向的语音频域信号和来自副驾方向的语音频域信号。

字典矩阵的数值表示预设的各个原子分别在预设的各个频率下的频率幅度值，其中，计算得到的各个原子的时延表示采样语音信号下该原子表示的语音成分到达双麦克风的时间差。因此，在本步骤中，依据第一频域信号和第二频域信号，计算完成训练的字典矩阵的各个原子的时延，即将第一频域信号和第二频域信号中来自各个方向的语音信号的时延，转换为各个原子的时延。

可选的，计算各个原子的时延的过程，可以包括以下步骤a1～步骤a2：

a1、依据第一频域信号和第二频域信号，计算每个原子的时延函数。

在本步骤中，可以依据公式(1)，计算每个原子的时延函数。

式中，f表示频率，d表示原子，wfd表示完成训练的字典矩阵；d表示时延，xlf与xrf分别表示第一频域信号和第二频域信号，fdτ表示计算得到的原子的时延函数。

a2、分别针对每个原子的时延函数，将时延函数的取极大值情况下的时延，作为原子的时延，得到字典矩阵中各个原子的时延。

本步骤的具体实现方式为现有技术，这里不再赘述。

上述第一频域信号和第二频域信号可以统称为频域信号。

上述s201～s204的目的是：依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵中各个原子的时延。

s205、将字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子。

在本步骤中，目标原子为时延与待拾音方向语音的时延间的差值属于预设的拾音波束范围的原子。其中，待拾音方向是根据实际所需提取的方向语音确定的，例如，待拾音方向语音为主驾声源。

可选的，在本实施例中，待拾音方向可以是事先设定，也可以本实施例确定得到。其中，本实施例确定待拾音方向，可以根据声源方位法进行声源定位，得到声源定位结果，并根据指定的声源定位结果，确定待拾音方向。其中，声源定位方法包括但不限于基于到达时间差的方法(如gccphat)、基于高分辨率谱估计的方法(music)，以及基于可控波束形成的方法。

s206、分别计算字典矩阵中各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成频域滤波器。

可选的，在实际中，本步骤的具体实现方式可以包括以下步骤b1～步骤b2：

b1、如果字典矩阵中原子的时延与待拾音方向的语音时延之间的差值绝对值小于预设阈值，则原子的二值取值为1，否则二值取值为0，得到各个原子与的二值取值构成的二值矩阵。

具体的，本步骤可以通过公式(2)实现。

式中，表示预设阈值，δ表示预设的拾音波束范围，τ0表示待拾音方向的语音的时延，表示步骤b1中计算出的原子的时延，md表示原子的二值取值。

在本实施实例中，通过调整δ的大小可以调整系统的拾音波束范围。本实施例不对δ的具体取值作限定。

b2、分别计算字典矩阵的各个频率下全部原子的频率幅度值与对应二值取值的加权和，与，该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成频域滤波器。

在本步骤中，可以通过公式(3)，计算得到频域滤波器中，各频率下的幅度取值。

式中，md表示原子的二值取值，wfd表示字典矩阵，d表示原子，if表示频率f下的幅度取值。

在本申请中，由于计算得到的各个原子的时延表示采样语音信号中该原子表示的预设语音成分到达双麦克风的时间差。因此，本申请将字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子，该目标原子为代表待拾音方向语音的原子

因此，本步骤分别计算字典矩阵中各个频率下目标原子的频率幅度值之和与全部原子的频率幅度值之和的比值，并将各个频率与对应的比值组成的频域滤波器反映的是：预设拾音波束范围内待拾音方向的语音分别在各个频率下的幅度分布情况，即待拾音方向的语音的频率分布。因此，采用本步骤得到的滤波器，分别对第一频域信号和第二频域信号进行滤波，可以得到第一频域信号和第二频域信号分别包含的待拾音方向语音的频域信号。

s207、采用频域滤波器分别对第一频域信号和第二频域信号进行滤波，得到滤波后的第一频域信号和第二频域信号。

在本步骤中，分别对第一频域信号和第二频域信号进行滤波的方式，可以通过公式(4)实现。

式中，if表示频域滤波器，xlf和xrf表示第一频域信号和第二频域信号，ylf和yrf表示滤波后的第一频域信号和滤波后的第二频域信号。

s208、将滤波后的第一频域信号和滤波后的第二频域信号分别进行时频逆变换，得到采样语音信号中待拾音方向的语音信号。

在本步骤中，时频逆变换可以为傅里叶逆变换，当然，在实际中，时频逆变换还可以为其他逆变换形式，本实施例不对时频逆变换的具体形式作限定，只要与时频变换的方式对应即可。

上述s207～s208的目的是：依据频域信号和频域滤波器，确定采样语音信号中待拾音方向的语音信号。

经实验验证，本实施例提供的双麦克风下的定向拾音方案，能够在车载双麦克风主副驾定向拾音场景下，对非待拾音方向的干扰抑制15-18db，因此，具有较强的干扰抑制能力，即较强的抗干扰能力。

在主副驾同事说话的场景下，采用本实施例的方案，输入的采样语音信号和输出的拾音后的语音信号，在时域上的对比图如图3(a)所示，其中，上面为采样语音信号，下面为拾音后的语音信号。在频域上的对比如图3(b)所示，其中，上面为采样语音信号的幅度谱，下面为拾音后的语音信号的幅度谱。从图3(a)中，可以看出拾音得到的语音信号明显少于采样语音信号。从图3(b)中可以看出拾音得到的幅度谱明显少于采样语音的幅度谱。

本实施例具有以下有益效果：

有益效果一：

由于本实施例依据对应的时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的目标原子，以及字典矩阵中目标原子在各种频率下的频率幅度值，得到用于反映预设拾音波束范围内待拾音方向的语音的频率分布的频域滤波器。由于频率滤波器反映的是：预设拾音波束范围内待拾音方向的语音的频率分布，因此，通过本实施例可以提高对非待拾音空间方向的语音信号的抑制能力，进而，本实施例提供的方案的抗干扰能力增强，鲁棒性增强。

有益效果二：

采用本实施例提供的双麦克风下的定向拾音方案，只需获取双麦克风采集的语音信号，以及事先完成训练的字典矩阵，得到待拾取空间方向的语音，即本实施例不需要信号的先验知识。并且，字典矩阵为事先训练完成的，使得，基于训练完成的字典矩阵对待拾取方向的语音进行拾取，降低了推理过程的运算量，因此，本实施例的实时性较好，因此，具有较高的实际应用价值。

图4为本申请实施例提供的一种双麦克风下的定向拾音装置，可以包括：第一计算模块401、第一确定模块402、第二计算模块403和第二确定模块404，其中，

第一计算模块401，用于依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵中各个原子的时延；所述各个原子的时延表示所述采样语音信号下该原子表示的预设语音成分到达双麦克风的时间差。。

第一确定模块402，用于将字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子。

第二计算模块403，用于分别计算字典矩阵中各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述语音信号中，待拾音方向的语音的频率分布的频域滤波器。

第二确定模块404，用于依据频域信号和所述频域滤波器，确定采样语音信号中待拾音方向的语音信号。

可选的，第二确定模块404，用于依据频域信号和所述频域滤波器，确定采样语音信号中待拾音方向的语音信号，包括：

第二确定模块404，具体用于采用频域滤波器对频域信号进行滤波，得到滤波后的频域信号；将滤波后的频域信号分别进行时频逆变换，得到采样语音信号中待拾音方向的语音信号。

可选的，频域信号包括：第一频域信号和第二频域信号；第一计算模块402，用于依据双麦克风的采样语音信号的频域信号，计算预设的字典矩阵中各个原子的时延，包括：

第一计算模块401，具体用于依据第一频域信号和第二频域信号，计算每个原子的时延函数；其中，f表示频率，d表示原子，wfd表示所述字典矩阵；d表示时延；xlf与xrf分别表示第一频域信号和第二频域信号；fdτ表示计算得到的原子的时延函数；分别针对每个原子的时延函数，将时延函数的取极大值情况下的时延，作为原子的时延，得到字典矩阵的各个原子的时延。

可选的，第二计算模块403，用于分别计算字典矩阵中的各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器，包括：

第二计算模块403，具体用于如果字典矩阵的原子的时延与待拾音方向的语音的时延之间的差值的绝对值小于预设阈值，则原子的二值取值为1，否则二值取值为0；分别计算字典矩阵的各个频率下全部原子的频率幅度值与对应二值取值的加权和，与，该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值，组成用于表征所述采样语音信号中，所述待拾音方向的语音的频率分布的频域滤波器。

双麦克风下的定向拾取装置包括处理器和存储器，上述第一计算模块401、第一确定模块402、第二计算模块403和第二确定模块404等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提供快速准确的双麦克风下的定向拾音方法。

本发明实施例提供了一种存储介质，其上存储有程序，该程序被处理器执行时实现所述双麦克风下的定向拾音方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述双麦克风下的定向拾音方法。

本发明实施例提供了一种设备，如图5所示，设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，处理器、存储器通过总线完成相互间的通信；处理器用于调用存储器中的程序指令，以执行上述的同行人员的识别方法。本文中的设备可以是服务器、pc、pad、手机等。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：

将所述字典矩阵的原子中，时延与待拾音方向的语音的时延间的差值属于预设的拾音波束范围的原子，作为目标原子；

分别计算所述字典矩阵的各个频率下目标原子的频率幅度值之和与该频率下全部原子的频率幅度值之和的比值，将各个频率与对应的比值组成用于表征所述语音信号中，所述待拾音方向的语音的频率分布的频域滤波器；

依据所述频域信号和所述频域滤波器，确定所述采样语音信号中所述待拾音方向的语音信号。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flashram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书的各个实施例中记载的特征可以相互替换或者组合，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。