双MIC输入的环境声抑制方法、装置、存储介质及设备与流程

2021-01-28 12:01:40|

284|

起点商标网

本发明涉及教育一体机技术领域，尤其涉及一种双mic输入的环境声抑制方法、装置、存储介质及设备。

背景技术：

随着电子设备不断革新，教育模式也越来越现代化，教育一体机逐步普及到国内外教室中，老师通过连接到教育机的无线麦克风设备进行课堂讲解，扩大了音量且保护嗓子。而目前市面上外接麦克风设备分两种：1.

带dsp处理模块，能够较好的处理声音的底噪、啸叫等问题，但价格较贵；2.不带dsp处理模块，价格相对便宜，但底噪较大，从教育机播放出来的音质较差；而两种外接麦克风设备由于单端输入的局限，对外界环境声都无法做到比较好的抑制效果，即很难做到过滤外界环境声仅保留语音数据。

由于麦克风一般都是单端输入，无法较好的区分语音和外界环境音，在软硬件上都无法进行有效抑制，特别是在直播/录制授课视频时，会同时录入老师讲课内容和外界的杂音，严重影响了直播/视频录制的语音清晰度。

技术实现要素：

本发明的目的在于克服现有技术的不足，本发明提供了一种双mic输入的环境声抑制方法、装置、存储介质及设备，可以实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质。

为了解决上述技术问题，本发明实施例提供了一种双mic输入的环境声抑制方法，所述方法包括：

在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；

对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；

基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；

基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。

可选的，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：

在所述设备的运行系统上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；

在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的pcm数据。

可选的，所述运行系统android系统；

所述在所述设备的运行系统上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：

在所述设备的android系统上修改原生音频策略，实现创建多个audiorecord线程同时录音，并在hal层audiopolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。

可选的，所述设备内置麦克风设备自带dsp模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带dsp模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；

所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；

其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。

可选的，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：

对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；

对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。

可选的，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：

基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；

基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；

自相关谱计算计算的计算公式为：psdn＝∑|fn|²，其中n取值为1或2；在n取值为1时，psdn为外接频域音频数据的自相关谱；fn为外接频域音频数据；在n取值为2时，psdn为内置频域音频数据的自相关谱；fn为内置频域音频数据；

所述互相关谱计算的计算公式为：cpsd＝∑(|f1|×|f2|^*)，其中f1为外接频域音频数据；f2为内置频域音频数据；符号*为复数的共轭运算。

可选的，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：

其中，cpsd表示外接频域音频数据和内置频域音频数据的互相关谱；psd1表示外接频域音频数据的自相关谱；psd2表示内置频域音频数据的自相关谱。

另外，本发明实施例还提供了一种双mic输入的环境声抑制装置，所述装置包括：

音频采集模块：用于在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；

频域变换模块：用于对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；

相关谱计算模块：用于基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；

增益计算模块：用于基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。

另外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述中任意一项所述的环境声抑制方法。

另外，本发明实施例还提供了一种终端设备，其包括：

一个或多个处理器；

存储器；

一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于：执行上述中任意一项所述的环境声抑制方法。

在本发明实施例中，通过外接麦克风设备，增加终端设备上的麦克风设备，并且，外接麦克风设备用于给用户随身携带，并且，外接麦克风设备由用户随身携带；用过外接麦克风设备与内置麦克风设备同时采集音频信息，然后经过一系列的处理，从而实现抑制麦克风的环境声音的录入，提升语音的清晰度；改善网络授课和课程视频录制的音质；并且对于外接麦克风设备的要求不高，不需要其携带dsp模块，降低设备成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明实施例中的双mic输入的环境声抑制方法的流程示意图；

图2是本发明实施例中的双mic输入的环境声抑制装置的结构组成示意图；

图3是本发明实施例中的终端设备结构组成示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

实施例

请参阅图1，图1是本发明实施例中的双mic输入的环境声抑制方法的流程示意图。

如图1所示，一种双mic输入的环境声抑制方法，所述方法包括：

s11：在设备上外接一远场麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；

在本发明具体实施过程中，所述使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，包括：在所述设备的运行系统上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的pcm数据。

进一步的，所述运行系统android系统；所述在所述设备的运行系统上修改原生音频策略，并新增一个虚拟音频设备的适配内置麦克风设备的录音接口，包括：在所述设备的android系统上修改原生音频策略，并在hal层audiopolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。

进一步的，所述设备内置麦克风设备自带dsp模块，在所述设备内置麦克风设备进行音频采集工作时，通过自带dsp模块进行调节增益和人声音频消除参数处理，获得内置频域音频数据；所述外接麦克风设备由用户随身携带，用于采集用户的说话时的音频数据，获得外接频域音频数据；其中，所述外接麦克风设备为有线外接麦克风设备或无线外接麦克风设备。

具体的，在一体机设备(设备终端)上均自带有阵列麦克风设备，在此成为内置麦克风设备，除此之外，在一体机设备上还外接一个麦克风设备，在此成为外接麦克风设备，其中，外接麦克风设备一般由用户随身携带，用户采集用户发出的语音信息数据；而设备内置麦克风设备一般距离用户较远，用于采集环境音频信息数据；并且外接麦克风设备可以为有线的麦克风设备也可以为无线的麦克风设备，在此，一般为无线的麦克风设备，方便用户随着携带；并且设备内置的麦克风设备上自带有一个dsp模块，通过该dsp模块可实现加强对人声的抑制和环境音的采集，用于对比消除外接麦克风设备数据中的环境音，从而到的抑制麦克风的环境声音的录入，提升语音的清晰度。

在设备上同时打开远场麦克风设备，则需要在该一体机设备上的内置运行系统上修改原生音频策略，该运行系统为android系统，并且新增一个虚拟音频设备的视频内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的pcm数据。

在该一体机设备上运行的android系统上修改原生音频策略，实现创建多个audiorecord线程同时录音，并在hal层audiopolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。

在外接的麦克风设备离说话者近，主要用于语音拾取，而设备内置麦克风设备离说话者较远，并且可以调节增益和人声消除参数，侧重于环境音的拾取，以此从硬件设备分布结构上来区分两个麦克风的拾音区域；远场(外接)麦克用于语音录制，拾取的语音强度大，背景噪声相对小，而一体机上内置麦克风拾取的语音相对小，背景噪声相对大。

s12：对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；

在本发明具体实施过程中，所述对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据，包括：对所述外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，所述频域加窗处理为汉宁窗的加窗运算；对所述加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。

具体的，在获得外接音频数据和内置音频数据，需要对外接音频数据和内置音频数据分别进行频域加窗处理，获得加窗后的外接音频数据和加窗后的内置音频数据，其中，该频域加窗处理为汉宁窗的加窗运算；然后对加窗后的外接音频数据和加窗后的内置音频数据分别进行傅里叶变化处理，获得外接频域音频数据和内置频域音频数据。

具体的计算公式为f1＝fft(han_win*t1)；f2＝fft(han_win*t2)；其中，t1为外接音频数据；t2内置音频数据；f1为外接频域音频数据；f2为内置频域音频数据；fft为傅里叶变换；han_win为汉宁窗的加窗运算系数，以每帧128个数据乘以汉宁窗系数，用来防止后面时频转换时发生频谱混叠。

s13：基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；

在本发明具体实施过程中，所述基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱，包括：基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；基于所述外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；自相关谱计算计算的计算公式为：psdn＝∑|fn|²，其中n取值为1或2；在n取值为1时，psdn为外接频域音频数据的自相关谱；fn为外接频域音频数据；在n取值为2时，psdn为内置频域音频数据的自相关谱；fn为内置频域音频数据；所述互相关谱计算的计算公式为：cpsd＝∑(|f1|×|f2|^*)，其中f1为外接频域音频数据；f2为内置频域音频数据；符号*为复数的共轭运算。

具体的，首先根据外接频域音频数据和内置频域音频数据分别进行自相关谱计算，获得外接频域音频数据的自相关谱和内置频域音频数据的自相关谱；然后根据外接频域音频数据和内置频域音频数据分别进行互相关谱计算，获得外接频域音频数据和内置频域音频数据的互相关谱；其中，自相关谱计算的计算公式为：psdn＝∑|fn|²，其中n取值为1或2；在n取值为1时，psdn为外接频域音频数据的自相关谱；fn为外接频域音频数据；在n取值为2时，psdn为内置频域音频数据的自相关谱；fn为内置频域音频数据；互相关谱计算的计算公式为：cpsd＝∑(|f1|×|f2|^*)，其中f1为外接频域音频数据；f2为内置频域音频数据；符号*为复数的共轭运算。

s14：基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。

在本发明具体实施过程中，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：

其中，cpsd表示外接频域音频数据和内置频域音频数据的互相关谱；psd1表示外接频域音频数据的自相关谱；psd2表示内置频域音频数据的自相关谱。

具体的，采用背景噪声的抑制上采用频域相关性函数，该函数如下：

其中，cpsd表示外接频域音频数据和内置频域音频数据的互相关谱；psd1表示外接频域音频数据的自相关谱；psd2表示内置频域音频数据的自相关谱；计算频域增益来消除通过无线麦克风所录数据中夹杂的环境噪声。

实施例

请参阅图2，图2是本发明实施例中的双mic输入的环境声抑制装置的结构组成示意图。

如图2所示，一种双mic输入的环境声抑制装置，所述装置包括：

音频采集模块21：用于在设备上外接一麦克风设备，并使得外接麦克风设备与设备内置麦克风设备同时进行音频采集工作，获得外接音频数据和内置音频数据；

在设备上同时使用一远场(外接)麦克风设备录音，则需要在该一体机设备上的内置运行系统上修改原生音频策略，该运行系统为android系统，实现创建多个audiorecord线程同时录音，并且新增一个虚拟音频设备的视频内置麦克风设备的录音接口；在外接麦克风设备与设备内置麦克风设备进行音频采集工作时，在单独线程中通过虚拟音频设备获得设备内置麦克风设备的pcm数据。

在该一体机设备上运行的android系统上修改原生音频策略，并在hal层audiopolicy新增一个虚拟音频设备的适配内置麦克风设备的录音接口。

频域变换模块22：用于对所述外接音频数据和内置音频数据分别进行频域变换处理，获得外接频域音频数据和内置频域音频数据；

相关谱计算模块23：用于基于所述外接频域音频数据和内置频域音频数据分别进行自相关谱和互相关谱计算，获得外接频域音频数据和内置频域音频数据的自相关谱和互相关谱；

增益计算模块24：用于基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算，消除外接音频数据中的环境噪声。

在本发明具体实施过程中，所述基于所述自相关谱和所述互相关谱利用频域相关性函数进行频域增益计算的计算公式如下：

其中，cpsd表示外接频域音频数据和内置频域音频数据的互相关谱；psd1表示外接频域音频数据的自相关谱；psd2表示内置频域音频数据的自相关谱。

具体的，采用背景噪声的抑制上采用频域相关性函数，该函数如下：

本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中任意一个实施例的环境声抑制方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。

本发明实施例还提供了一种计算机应用程序，其运行在计算机上，该计算机应用程序用于执行上述中任意一个实施例的环境声抑制方法。

此外，图3是本发明实施例中的终端设备的结构组成示意图。

本发明实施例还提供了一种终端设备，如图3所示。所述终端设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解，图3示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块，处理器302运行存储在存储器303的应用程序301，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、zip盘、u盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。

输入单元304用于接收信号的输入，以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器302内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。

作为一个实施例，所述终端设备包括：一个或多个处理器302，存储器303，一个或多个应用程序301，其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行，所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中对的环境声抑制方法。

另外，以上对本发明实施例所提供的一种双mic输入的环境声抑制方法、装置、存储介质及设备进行了详细介绍，本文中应采用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。