音频处理方法及电子设备与流程

2021-01-28 15:01:45|

248|

起点商标网

本公开涉及通信技术领域，尤其涉及一种音频处理方法及电子设备。

背景技术：

随着技术的发展进步，手机、电脑等电子设备在用户的生活中得到广泛的应用，用户可以通过手机、电脑等电子设备进行视频交流或者语音交流；然而，当通信场景中存在其他声音信号时，会影响的声音听取效果。

相关场景中，参会者通过视频会议终端加入会议，与其他参会者进行交流。在参会者需要分享一些本地电脑上正在播放音视频文件的情况下，麦克风会采集参会者的声音和扬声器播放的音视频文件的音频信息，并将采集到的声音信号进行编码传输，发送给其他参与者。由于麦克风采集到的声音信号，夹杂了多个声源输出的声音，从而导致进行编码传输的声音信号存在质量差的问题。

技术实现要素：

本公开提供一种音频处理方法及电子设备，以至少解决相关技术中由于麦克风采集到的声音信号夹杂了多个声源输出的声音，导致的进行编码传输的声音信号存在质量差的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种音频处理方法，应用于包括麦克风和扬声器声卡的第一电子设备，包括：

获取所述麦克风采集的第一音频数据；

获取所述扬声器声卡的第二音频数据；

使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；

向第二电子设备发送所述第一目标音频数据。

根据本公开实施例的第二方面，提供一种音频处理方法，应用于第二电子设备，包括：

接收第一电子设备发送的第一目标音频数据和第二目标音频数据；

对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音；

对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音；

输出所述第一语音和所述第二语音；

其中，所述第二延迟处理的延迟时长大于所述第一延迟处理的延迟时长；

所述第一目标音频数据是所述第一电子设备基于第二音频对第一音频数据进行回音消除处理得到的，所述第一音频数据为所述第一电子设备的麦克风采集的音频数据，所述第二音频数据为基于所述第一电子设备的扬声器声卡获取到的音频数据；

所述第二音频数据包括第一子音频数据和第二子音频数据，所述第一子音频数据为所述第二电子设备向所述第一电子设备传输的音频数据，所述第二子音频数据为所述第一电子设备的播放器输出的音频数据，且所述第二目标音频数据是基于所述第一子音频数据对所述第二音频数据进行回音消除处理得到的。

根据本公开实施例的第三方面，提供电子设备，所述电子设备为包括麦克风和扬声器声卡的第一电子设备，包括：

第一获取模块，被配置为执行获取所述麦克风采集的第一音频数据；

第二获取模块，被配置为执行获取所述扬声器声卡的第二音频数据；

第一处理模块，被配置为执行使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；

第一发送模块，被配置为执行向第二电子设备发送所述第一目标音频数据。

根据本公开实施例的第四方面，提供电子设备，所述电子设备为第二电子设备，包括：

接收模块，被配置为执行接收第一电子设备发送的第一目标音频数据和第二目标音频数据；

第一处理模块，被配置为执行对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音；

第二处理模块，被配置为执行对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音；

输出模块，被配置为执行输出所述第一语音和所述第二语音；

其中，所述第二延迟处理的延迟时长大于所述第一延迟处理的延迟时长；

根据本公开实施例的第五方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现第一方面中任一项所述的音频处理方法，或者第二方面中任一项所述的音频处理方法。

根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由第一方面中任一项所述的音频处理方法，或者第二方面中任一项所述的音频处理方法第一方面中任一项所述的内容分享方法。

根据本公开实施例的第七方面，提供一种计算机程序产品，包括：可执行指令，当所述可执行指令在计算机上运行时，使得计算机能够执行第一方面中任一项所述的音频处理方法，或者第二方面中任一项所述的音频处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过获取所述麦克风采集的第一音频数据；获取所述扬声器声卡的第二音频数据；使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；向第二电子设备发送所述第一目标音频数据。这样第二电子设备侧的用户可以清楚的听取到第一电子设备侧的用户的说话声音，避免第一电子设备侧的其他声音对第一电子设备侧的用户的说话声音造成干扰，优化第二电子设备侧的用户的声音听取效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种音频处理方法的流程图一。

图2是根据一示例性实施例示出的一种音频处理方法的流程图二。

图3是根据一示例性实施例示出的一种电子设备的框图一。

图4是根据一示例性实施例示出的一种电子设备的框图二。

图5是根据一示例性实施例示出的一种电子设备的框图三。

图6是根据一示例性实施例示出的一种电子设备的框图四。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种音频处理方法的流程图一，如图1所示，该音频处理方法用于包括麦克风和扬声器声卡的第一电子设备中，该音频处理方法可以应用于网络会议、视频会议等应用场景，包括以下步骤：

步骤101、获取所述麦克风采集的第一音频数据。

该步骤中，在网络会议或者视频会议等应用场景中，第一电子设备侧的麦克风可以采集第一电子设备侧的用户的讲话的音频数据，还可以采集第一电子设备侧的扬声器输出的音频数据，即第一音频数据可以包括第一电子设备侧的用户与其他电子设备侧的用户的交流声音，还可以包括第一电子设备侧的扬声器输出的音频数据。

步骤102、获取扬声器声卡的第二音频数据。

该步骤中，第二音频数据可以是扬声器输出的音频数据，可以从扬声器声卡直接获取。

步骤103、使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据。

该步骤中，通过使用第二音频数据对第一音频数据进行回音消除处理，以消除第二音频数据，并得到第一目标音频数据。

其中，使用第二音频数据对第一音频数据进行回音消除处理，主要是消除第一音频数据中的第二音频数据，并得到第一目标音频数据。

比如，第一音频数据包括第一电子设备侧用户与其他电子设备侧的用户的交流声音，以及第一电子设备侧的扬声器输出的音频数据，由于第二音频数据是基于扬声器声卡获取的，扬声器输出的声音也是基于扬声器声卡存储的音频数据进行输出，因此通过使用第二音频数据对第一音频数据进行回音消除处理，主要是消除第一音频数据中的第二音频数据，即消除扬声器输出的声音对用户的声音的干扰影响，以分离出第一电子设备侧的用户的说话声音，以便其他电子设备侧的用户可以得到较好的语音音质。

步骤104、向第二电子设备发送所述第一目标音频数据。

该步骤中，通过向第二电子设备发送第一目标音频数据，以便第二电子设备侧的用户可以清楚的听取到第一电子设备侧的用户的说话声音，避免第一电子设备侧的其他声音对第一电子设备侧的用户的说话声音造成干扰，优化第二电子设备侧的用户的声音听取效果。

本公开中，通过使用第二音频数据对第一音频数据进行回音消除处理，以消除第二音频数据，得到第一目标音频数据，并向第二电子设备发送第一目标音频数据，以便第二电子设备侧的用户可以清楚的听取到第一电子设备侧的用户的说话声音，避免第一电子设备侧的其他声音对第一电子设备侧的用户的说话声音造成干扰，优化第二电子设备侧的用户的声音听取效果。

比如，在视频会议中，第一电子设备的麦克风采集到了第一电子设备的分享者说话的声音，且第一电子设备的扬声器也在播放声音，为避免扬声器播放的声音对分享者说话的声音造成干扰，可以通过回音消除的方式，消除掉扬声器播放出来的声音，从而只剩下分享者说话的声音，以便第二电子设备侧的聆听着可以清楚的听取分享者说话的声音。

其中，回音消除处理是通过获取扬声器声卡的音频数据，对麦克风采集到的音频数据进行回音消除处理，以便第二电子设备侧的聆听着可以得到更好的语音音质。

可选的，所述第二音频数据包括第一子音频数据和第二子音频数据，所述第一子音频数据为所述第二电子设备向所述第一电子设备传输的音频数据，所述第二子音频数据为所述第一电子设备的播放器输出的音频数据；所述获取所述扬声器声卡的第二音频数据的步骤之后，所述方法还包括：使用所述第一子音频数据对所述第二音频数据进行回音消除处理，以消除所述第一子音频数据，并得到第二目标音频数据；向所述第二电子设备发送所述第二目标音频数据。

本实施方式中，主要是针对第一电子设备侧用户分享音视频的应用场景，即第一电子设备侧的用户分享音视频时，通过获取扬声器声卡的第二音频数据，第二音频数据可以包括第一子音频数据和第二子音频数据，第二子音频数据为第一电子设备的播放器输出的音频数据；第一子音频数据为第二电子设备向第一电子设备传输的音频数据，包括第二电子设备的麦克风采集到的用户声音，比如麦克风采集到的第二电子设备侧的用户的声音。其中，第二子音频数据为待分享的音频数据，为避免第一子音频数据对第二子音频数据造成干扰，因此需要对第二音频数据进行回音消除处理，以消除第二音频数据中的第一子音频数据，从而得到第二目标音频数据，即第二子音频数据，从而提升第二目标音频数据的播放效果，即提升第二电子设备侧的用户听取到的第二目标音频数据的音质效果。

进一步可选的，所述向第二电子设备发送所述第一目标音频数据的步骤，包括：采用第一编码方式对所述第一目标音频数据进行编码，得到第一编码数据，并向所述第二电子设备传输所述第一编码数据；所述向所述第二电子设备发送所述第二目标音频数据的步骤，包括：采用第二编码方式对所述第二目标音频数据进行编码，得到第二编码数据，并向所述第二电子设备传输所述第二编码数据；其中，所述第二编码方式对应的音质优于所述第一编码方式对应的音质。

本实施方式中，针对不同类型的音频数据，可以采用不同的编码方式进行编码，以便优化音频数据对应的音质效果。

比如，针对第一目标音频数据，可以采用opus编码器进行编码传输，以得到较好的语音音质；针对第二目标音频数据，可以采用acc编码器进行编码传输，以得到更好的音质效果。由于第一目标音频数据是第一电子设备侧的用户的声音，因此对音质的要求不高，可以采用opus编码器进行编码传输；而第二目标音频数据是第一电子设备侧的用户分享的音视频，对音质的要求较高，因此推荐采用acc编码器进行编码传输，以改善第二目标音频数据的编码传输效果，并优化第二目标音频数据对应的语音在第二电子设备侧播放效果。

需要说明的是，在本公开中，回音消除处理可以是通过aec自适应滤波的方法，通过将第二音频数据作为参考信号，将第一音频数据作为输入信号，并做aec处理，分离出第一目标音频数据；相应的，还可以通过将第一子音频数据作为参考信号，将第二音频数据作为输入信号，并做aec处理，以分离出第二目标音频数据，即第二子音频数据。

本公开实施例提供的音频处理方法，通过获取所述麦克风采集的第一音频数据；获取所述扬声器声卡的第二音频数据；使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；向第二电子设备发送所述第一目标音频数据。这样第二电子设备侧的用户可以清楚的听取到第一电子设备侧的用户的说话声音，避免第一电子设备侧的其他声音对第一电子设备侧的用户的说话声音造成干扰，优化第二电子设备侧的用户的声音听取效果。

图2是根据一示例性实施例示出的一种音频处理方法的流程图二，参照图2，该音频处理方法可以应用于第二电子设备中，并包括以下步骤：

步骤201、接收第一电子设备发送的第一目标音频数据和第二目标音频数据。

其中，第一目标音频数据是第一电子设备基于第二音频对第一音频数据进行回音消除处理得到的，第一音频数据为第一电子设备的麦克风采集的音频数据，第二音频数据为基于第一电子设备的扬声器声卡获取到的音频数据。

而且，第二音频数据包括第一子音频数据和第二子音频数据，第一子音频数据为第二电子设备向第一电子设备传输的音频数据，第二子音频数据为第一电子设备的播放器输出的音频数据，且第二目标音频数据是基于第一子音频数据对第二音频数据进行回音消除处理得到的。

步骤202、对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音。

步骤203、对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音。

步骤204、输出所述第一语音和所述第二语音。

本实施方式中，通过将第一目标音频数据对应的第一语音进行第一延迟处理，使得第二电子设备侧的用户可以及时听取到第一语音，即第一电子设备侧用户讲话的声音，从而改善第一电子设备侧的用户和第二电子设备侧的用户的交流效果。

另外，通过将第二目标音频数据对应的第二语音进行第二延迟处理，使得第二电子设备侧的用户可以及时听取到第二语音，即第一电子设备侧用户想要分享的音频，从而改善第一电子设备侧的用户和第二电子设备侧的用户的交流效果。

而且，将第二目标音频数据对应的第二语音进行第二延迟处理，还可以改善第二语音的音质效果。

其中，第二延迟处理的延迟时长大于第一延迟处理的延迟时长，使得第二语音的音质效果优于第一语音的音质效果。

需要说明的是，由于第一语音是第一电子设备侧的用户与第二电子设备侧的用户进行交流的语音，注重时效性，及沟通的及时性，通过将第一语音进行第一延迟处理，缩短延迟时间，以便第一语音可以快速的被第二电子设备侧的用户听取到；而第二语音是第一电子设备侧的用户向第二电子设备侧的用户分享的语音，为保证语音的分享质量，可以对其进行第二延迟处理，提升第二语音的网络抖动抗性和音质，优化其听取效果。

另外，还可以调节输出的第一语音和第二语音的音量大小，还是通过将第一语音和第二语音进行混音处理，改善第二电子设备侧的用户的听取效果。

本公开实施例提供的音频处理方法，通过接收第一电子设备发送的第一目标音频数据和第二目标音频数据；对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音；对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音；输出所述第一语音和所述第二语音；其中，所述第二延迟处理的延迟时长大于所述第一延迟处理的延迟时长；所述第一目标音频数据是所述第一电子设备基于第二音频对第一音频数据进行回音消除处理得到的，所述第一音频数据为所述第一电子设备的麦克风采集的音频数据，所述第二音频数据为基于所述第一电子设备的扬声器声卡获取到的音频数据；所述第二音频数据包括第一子音频数据和第二子音频数据，所述第一子音频数据为所述第二电子设备向所述第一电子设备传输的音频数据，所述第二子音频数据为所述第一电子设备的播放器输出的音频数据，且所述第二目标音频数据是基于所述第一子音频数据对所述第二音频数据进行回音消除处理得到的。这样可以改善第一电子设备侧的用户和第二电子设备侧的用户的交流效果。

图3是根据一示例性实施例示出的一种电子设备的框图一。参照图3，该电子设备300包括第一获取模块301、第二获取模块302、第一处理模块303和第一发送模块304，其中：

第一获取模块301，被配置为执行获取所述麦克风采集的第一音频数据；

第二获取模块302，被配置为执行获取所述扬声器声卡的第二音频数据；

第一处理模块303，被配置为执行使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；

第一发送模块304，被配置为执行向第二电子设备发送所述第一目标音频数据。

可选的，所述第二音频数据包括第一子音频数据和第二子音频数据，所述第一子音频数据为所述第二电子设备向所述第一电子设备传输的音频数据，所述第二子音频数据为所述第一电子设备的播放器输出的音频数据；

所述电子设备300还包括：

第二处理模块，被配置为执行使用所述第一子音频数据对所述第二音频数据进行回音消除处理，以消除所述第一子音频数据，并得到第二目标音频数据；

第二发送模块，被配置为执行向所述第二电子设备发送所述第二目标音频数据。

可选的，所述第一子音频数据包括所述第二电子设备的麦克风采集到的用户声音。

可选的，所述第一发送模块304，被配置为执行采用第一编码方式对所述第一目标音频数据进行编码，得到第一编码数据，并向所述第二电子设备传输所述第一编码数据；

所述第二发送模块，被配置为执行采用第二编码方式对所述第二目标音频数据进行编码，得到第二编码数据，并向所述第二电子设备传输所述第二编码数据；

其中，所述第二编码方式对应的音质优于所述第一编码方式对应的音质。

关于上述实施例中的电子设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4是根据一示例性实施例示出的一种电子设备的框图二。参照图4，该电子设备400包括接收模块401、第一处理模块402、第二处理模块403和输出模块404，其中：

接收模块401，被配置为执行接收第一电子设备发送的第一目标音频数据和第二目标音频数据；

第一处理模块402，被配置为执行对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音；

第二处理模块403，被配置为执行对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音；

输出模块404，被配置为执行输出所述第一语音和所述第二语音；

其中，所述第二延迟处理的延迟时长大于所述第一延迟处理的延迟时长；

可选的，所述输出模块404，被配置为执行将所述第一语音和所述第二语音进行混音处理，并输出。

关于上述实施例中的电子设备，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5是根据一示例性实施例示出的一种用于电子设备的框图三，参照图5，该电子设备500包括：处理器501、存储器502、用户接口503和总线接口504。

处理器501，用于读取存储器502中的程序，执行下列过程：

获取所述麦克风采集的第一音频数据；

获取所述扬声器声卡的第二音频数据；

使用所述第二音频数据对所述第一音频数据进行回音消除处理，以消除所述第二音频数据，并得到第一目标音频数据；

向第二电子设备发送所述第一目标音频数据。

在图5中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器501代表的一个或多个处理器和存储器502代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口504提供接口。针对不同的用户设备，用户接口503还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器501负责管理总线架构和通常的处理，存储器502可以存储处理器501在执行操作时所使用的数据。

可选的，所述第二音频数据包括第一子音频数据和第二子音频数据，所述第一子音频数据为所述第二电子设备向所述第一电子设备传输的音频数据，所述第二子音频数据为所述第一电子设备的播放器输出的音频数据；处理器501，还用于：

使用所述第一子音频数据对所述第二音频数据进行回音消除处理，以消除所述第一子音频数据，并得到第二目标音频数据；

向所述第二电子设备发送所述第二目标音频数据。

可选的，所述第一子音频数据包括所述第二电子设备的麦克风采集到的用户声音。

可选的，处理器501，还用于：

采用第一编码方式对所述第一目标音频数据进行编码，得到第一编码数据，并向所述第二电子设备传输所述第一编码数据；

采用第二编码方式对所述第二目标音频数据进行编码，得到第二编码数据，并向所述第二电子设备传输所述第二编码数据；

其中，所述第二编码方式对应的音质优于所述第一编码方式对应的音质。

电子设备500能够实现前述实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器502，上述指令可由电子设备500的处理器501执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

图6是根据另一示例性实施例示出的一种用于电子设备的框图四，参照图6，该电子设备600包括：处理器601、存储器602、用户接口603和总线接口604。

处理器601，用于读取存储器602中的程序，执行下列过程：

接收第一电子设备发送的第一目标音频数据和第二目标音频数据；

对所述第一目标音频数据对应的第一语音进行第一延迟处理，得到所述第一语音；

对所述第二目标音频数据对应的第二语音进行第二延迟处理，得到所述第二语音；

输出所述第一语音和所述第二语音；

其中，所述第二延迟处理的延迟时长大于所述第一延迟处理的延迟时长；

在图6中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器601代表的一个或多个处理器和存储器602代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口604提供接口。针对不同的用户设备，用户接口603还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。

处理器601负责管理总线架构和通常的处理，存储器602可以存储处理器601在执行操作时所使用的数据。

可选的，处理器601，还用于：

将所述第一语音和所述第二语音进行混音处理，并输出。

在示例性实施例中，还提供了一种包括指令的存储介质，例如包括指令的存储器602，上述指令可由电子设备600的处理器601执行以完成上述方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击【在线咨询】或添加微信【19522093243】与客服一对一沟通，为大家解决相关问题。