音频处理方法、装置、电子设备、服务器及存储介质与流程

本申请涉及音频处理技术领域，更具体地，涉及一种音频处理方法、装置、电子设备、服务器及存储介质。

背景技术：

随着移动网络技术的发展，在终端上进行实时直播已受到越来越多用户的关注。在直播过程中，通过主播客户端采集所要直播的数据，然后将采集到的直播的数据通过直播平台分享至观众客户端，以供观众观看。但是，相关的直播过程中，观众客户端还无法较好的适配观众的个性化的音频播放需求。

技术实现要素：

有鉴于此，本申请提出了一种音频处理方法、装置、电子设备、服务器及存储介质，以改善上述问题。

第一方面，本申请提供了一种音频处理方法，应用于电子设备，所述方法包括：获取初始音频数据，所述初始音频数据为主播端发送的音频数据；基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成；播放所述变声处理后的音频数据。

第二方面，本申请提供了一种音频处理方法，应用于服务器，所述方法包括：获取初始音频数据，所述初始音频数据为主播端发送的音频数据；基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成；将变声处理后的音频数据发送给观众端，以用于所述观众端播放所述变声处理后的音频数据。

第三方面，本申请提供了一种音频处理装置，运行于电子设备，所述装置包括：音频数据获取单元，用于获取初始音频数据，所述初始音频数据为主播端发送的音频数据；音频变声单元，用于基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成；音频播放单元，用于播放所述变声处理后的音频数据。

第四方面，本申请提供了一种音频处理装置，运行于服务器，所述装置包括：音频数据获取单元，用于获取初始音频数据，所述初始音频数据为主播端发送的音频数据；音频变声单元，用于基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成；音频分发单元，用于将变声处理后的音频数据发送给观众端，以用于所述观众端播放所述变声处理后的音频数据。

第五方面，本申请提供了一种电子设备，包括音频输出器件、处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第六方面，本申请提供了一种服务器，包括处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述处理器执行以实现上述的方法。

第七方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

第八方面，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码被处理器运行时执行上述的方法。

本申请提供的一种音频处理方法、装置、电子设备、服务器及存储介质，通过获取主播端发送的音频数据作为初始音频数据，并基于由观众端生成的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例所涉及的应用环境的示意图；

图2示出了本申请实施例所涉及的应用环境中各个功能单元连接关系的示意图；

图3示出了本申请一实施例提出的一种音频处理方法的流程图；

图4示出了本申请另一实施例提出的一种音频处理方法的流程图；

图5示出了本申请实施例中一种变声参数配置界面的示意图；

图6示出了本申请实施例中另一种变声参数配置界面的示意图；

图7示出了本申请实施例中一种生成变声参数的示意图；

图8示出了本申请实施例中一种变声处理的示意图；

图9示出了本申请又一实施例提出的一种音频处理方法的流程图；

图10示出了本申请实施例中一种待增加音效选择界面的示意图；

图11示出了本申请实施例中一种混声处理的示意图；

图12示出了本申请又一实施例提出的一种音频处理方法的流程图；

图13示出了本申请再一实施例提出的一种音频处理方法的流程图；

图14示出了本申请一实施例提出的一种音频处理装置的结构框图；

图15示出了本申请另一实施例提出的一种音频处理装置的结构框图；

图16示出了本申请又一实施例提出的一种音频处理装置的结构框图；

图17示出了用于执行根据本申请实施例的音频处理方法的一种电子设备的结构框图；

图18示出了本申请实施例的用于保存或者携带实现根据本申请实施例的音频处理方法的程序代码的存储单元。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

随着直播平台的发展，更多的用户通过直播平台来向其他用户进行内容直播。在直播平台中，提供内容供其他用户观看的为主播，而观看他人的直播内容的用户为观众。在直播过程中，主播通过主播客户端(简称为主播端)采集所要直播的数据，然后将采集到的直播的数据通过直播平台分享至观众客户端(简称为观众端)，以供观众观看。

但是，发明人发现相关的直播过程中，观众客户端还无法较好的适配观众的个性化的音频播放需求。在相关的直播过程中，通常是由主播端进行音频的采集，然后根据主播端所配置的变声方案来对所采集的音频进行变声处理，然后将变声处理后的音频数据推送给观众端。那么观众端所播放的则为主播端进行变声处理后的音频数据。但是，在该过程中，观众端仅能够直接对主播端所传输来的音频数据进行播放，然而却无法对主播端传输来的音频数据进行变声处理或者进行再次的变声处理，造成观众客户端还无法较好的适配观众的个性化的音频播放需求。

因此，发明人提出了本申请提供的音频处理方法、装置、电子设备、服务器及存储介质，在该方法中，通过获取主播端发送的音频数据作为初始音频数据，并基于由观众端生成的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。

在对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及应用环境进行介绍。

如图1所示，图1所示为本申请实施例所涉及的应用环境的示意图。其中，包括有电子设备10、电子设备11以及服务器20。其中，电子设备10和服务器20之间通过网络30进行数据交互，电子设备11和服务器20之间通过网络31进行数据交互。其中，主播端运行于电子设备10，观众端运行于电子设备20。其中主播端用于采集主播的音频数据，并将采集的音频数据传输给服务器20，进而服务器20再将接收到的主播端传输来的音频数据分发给观众端。

示例性的，如图2所示，主播端可以包括有音频采集单元、音频变声单元、参数同步单元以及编码单元。

其中，音频采集单元负责主播端音频数据的采集，该音频采集单元所采集的音频数据包括采集的麦克风的语音数据和主播播放的背景音乐。再者，音频采集单元可以提供主播端的变声参数设置接口，以便主播可以通过该变声参数设置接口配置变声参数。

音频变声单元用于对音频采集单元所采集的音频数据进行变声处理。该变声处理可以包括调节音频数据的音调、音速或者eq(均衡器)等。其中，音频变声单元在变声处理过程中会基于变声参数来进行变声处理，而其中的变声参数可以由其中的参数同步单元传输给音频变声单元。可选的，可以由音频采集单元采集到变声参数后传输给参数同步单元，进而由参数同步单元传输给音频变声单元。

编码单元用于对音频变声单元所输出的音频数据进行压缩编码，并将压缩编码后的数据传输给服务器20中的分发单元，进而由该分发单元传输给电子设备11中的观众端。

对应的，在观众端中包括有解码单元、音频变声单元、音频播放单元以及参数同步单元。

其中，解码单元用于对前述分发单元传输来的数据进行解码，进而得到主播端发送的音频数据。再由观众端的音频变声单元对该主播端发送的音频数据进行变声处理，进而得到变声处理后的音频数据，最后可以由音频播放单元来对变声处理后的音频数据进行播放。其中，观众端的参数同步单元可以将观众端生成的变声参数传输给音频变声单元，进而使得音频变声单元可以基于观众端生成的变声参数对主播端发送的音频数据进行变声处理。

下面将结合附图具体描述本申请的各实施例。

请参阅图3，图3所示为本申请一实施例提出的一种音频处理方法的流程图，该方法包括：

s110：获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

在本实施例中，可以对主播端所传输来的音频数据进行变声处理。而为了对音频数据进行处理，那么会先获取到主播端发送的音频数据作为初始音频数据。

作为一种方式，对于主播端所传输来的音频数据可以预先存储到内存中，进而在本实施例中可以直接从内存中获取到主播端发送的音频数据作为初始音频数据，从而提升获取速率。

s120：基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

在本实施例中对初始音频数据进行处理的过程中，会根据获取的变声参数来对所述初始音频数据进行变声处理。可选的，在本实施例的变声处理过程中，可以对音频数据的语速、音调、音量中的至少一个参数进行调整，以实现变声处理。

可选的，变声参数可以包括对应不同变声处理类型的子参数，进而可以根据变声参数所具体包括的子参数来进行变声处理。其中，变声类型可以包括有语速处理、音调处理以及音量处理，对应的，变声参数可以包括有对应于语速处理的子参数、对应于音调处理的子参数以及对应于音量处理的子参数。

可选的，若获取到的变声参数中包括有对应于语速处理的子参数、对应于音调处理的子参数以及对应于音量处理的子参数，那么则会对初始音频数据的语速、音调、音量均进行处理。可选的，若获取到的变声参数中包括有对应于语速处理的子参数以及对应于音调处理的子参数，那么则会对初始音频数据的语速和音调进行处理。可选的，若获取到的变声参数中包括有对应于音调处理的子参数以及对应于音量处理的子参数，那么则会对初始音频数据的音调和音量进行处理。可选的，若获取到的变声参数中包括有对应于语速处理的子参数以及对应于音调处理的子参数，那么则会对初始音频数据的音调和语速进行处理。

在本实施例中，变声参数是由观众端生成的，而其中变声参数具体包括哪些类型的子参数，则可以根据用户的配置操作生成。可选的，若用户在配置过程中对语速进行了配置，那么所生成的变声参数中至少会包括有对应于语速处理的子参数，若用户在配置过程中对音调进行了配置，那么所生成的变声参数中至少会包括有对应于音调处理的子参数，若用户在配置过程中对音量进行了配置，那么所生成的变声参数中至少会包括有对应于音量处理的子参数。

s130：播放所述变声处理后的音频数据。

需要说明的是，本实施例提供的音频处理方法可以运行于服务器中，也可以运行于位于电子设备的观众端中。对于该音频处理方法运行于的位置不同，在进行播放时所执行的步骤会对应有所不同。其中，在音频处理方法运行于位于电子设备的观众端中的这种方式中，播放变声后的音频数据可以理解为将变声处理后的音频数据输出到指定的音频通路中，以便变声处理后的音频数据可以从该音频通路传输到对应的音频器件进行播放。示例性的，该音频器件可以为观众端所在电子设备本身的扬声器，或者为与观众端所在电子设备建立有无线连接的耳机或者音响等。再者，在变声处理后的音频处理方法运行于服务器的这种方式中，在进行播放时，服务器则会将变声处理后的音频数据通过网络传输给观众端，以便观众端进行播放。在这种方式中，观众端在进行播放时也可以如前述方式将变声处理后的音频数据传输到音频器件进行播放。

本实施例提供的一种音频处理方法，通过获取主播端发送的音频数据作为初始音频数据，并基于由观众端生成的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。

请参阅图4，图4所示为本申请一实施例提出的一种音频处理方法的流程图，该方法包括：

s210：显示变声参数配置界面，所述变声参数配置界面中包括有至少一个参数配置控件。

在本申请实施例中，对初始音频数据进行变声处理所使用的变声参数是观众端生成的，那么作为一种方式，观众端可以显示一变声参数配置界面，以便用户可以通过变声参数配置界面中的参数配置控件来配置变声参数。

s220：响应于作用于所述参数配置控件的触控操作生成所述变声参数。

可选的，该变声参数配置界面可以如图5所示，如图5所示，变声参数配置界面40可以包括有配置区域41、配置区域42以及配置区域43。其中，配置区域41包括有名称为“男生”、“女生”、“机器人”以及“萝莉”的控件。在配置区域41中，观众端检测到有控件被触控后，则会生成对应与所触控的控件对应的变声参数。例如，若检测到名称为“女生”的控件被触控，则观众端会生成对应于女生声音特性的变声参数，以便可以将初始音频数据变声处理为女生声音。再例如，若检测到名称为“机器人”的控件被触控，则观众端会生成对应于机器人声音特性的变声参数，以便可以将初始音频数据变声处理为机器人声音。

再者，观众端的用户还可以通过配置区域42中的名称为音调、音速或者音量的控件来生成变声参数。在配置区域42中，用户可以通过分别对名称为音调、音速或者音量的控件进行滑动操作来配置对应的子参数。例如，若用户滑动名称为音调的控件中的滑动条(即配置区域42中的圆形控件)，且滑动到数字为30的位置，那么生成的变声参数中对应于音调处理的子参数的值为30。若用户滑动名称为语速的控件中的滑动条，且滑动到数字为50的位置，那么生成的变声参数中对应于语速处理的子参数的值为50。

还有，观众端的用户还可以通过配置区域43来生成关于eq处理的变声参数。

可选的，在本实施例中的变声参数配置界面中的，所包括的多个配置区域可以单独生成变声参数，也可以相互结合来生成配置参数。

在单独生成变声参数的这种方式中，多个配置区域各自所生变声参数是相互独立且互补影响的，在这种方式下，用户可以通过配置界面中的选择控件来确定观众端具体是将哪个配置区域所对应生成的变成参数作为后续对初始音频数据进行处理的变声参数。可选的，如图6所示，配置区域41对应有选择控件411，配置区域42对应有选择控件421，配置区域43对应有选择控件431，那么在仅有选择控件411被选中的情况下，观众端会将配置区域41生成的变成参数作为后续对初始音频数据进行处理的变声参数。

若有选择控件411和选择控件421均被选中，则会将配置区域41对应生成的变声参数，与配置区域42对应生成的变声参数相结合得到的变声参数，作为后续对初始音频数据进行处理的变声参数。可选的，在这种方式下，配置区域421中的控件对应的值会根据配置区域41中被选择控件进行同步更新。其中，配置区域421中的控件对应的值可以理解为配置区域421对应生成的变成参数中子参数的值。例如，在用户还未对配置区域41中的控件进行选择之前，如图7左侧图像所示，配置区域421中的控件的值均为0，而在变声参数中多个子参数的值均为0的情况下，在对初始音频数据进行处理的过程中，则不会对初始音频数据的语速、音调或音量进行改变。在一种方式中，若检测到配置区域41中名称为女生的控件被触控后，如图7中右侧图像所示，观众端会同步将配置区域42中的控件的值，同步更新为与女生的声音特性对应。例如，若配置区域41中名称为女生的控件对应的变声参数包括：对应于语速处理的子参数的值为50、对应于音调处理的子参数的值为80,以及对应于音量处理的子参数的值为70，那么观众端则会将配置区域42中对应于音调控件的值更新为80，对应于语速的控件的值更新为50，对应于音量控件的值更新为70。在这种方式下，用户可以继续对配置区域42中的控件的值进行改变，进而生成最终用于对初始音频数据进行处理的变声参数。

s230：获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

s240：基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

作为一种方式，所述初始音频数据为pcm(pulsecodemodulation)格式的音频数据。所述基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，包括：将所述初始音频数据转换为对应的多个数组数据，其中，每个所述数组数据表征一帧音频的数据；基于所述变声参数对所多个数组数据进行数据处理，得到处理后的数组数据，所述数据处理包括插入采样点或者删除采样点；将所述处理后的数组数据转换为pcm格式的音频数据，以得到变声处理后的音频数据。

作为一种方式，所述基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据之前还包括：检测变声功能是否启动；若启动，执行所述基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据；若未启动，播放所述初始音频数据。

s250：播放所述变声处理后的音频数据。

下面再通过一示意图来对本实施例中的音频处理方法进行说明。

如图8所示，观众端的会在获取到本地变声参数后进行同步参数配置，以便将获取到的本地变成参数配置为后续进行变声处理时所采用的变声参数。然后，在接收到pcm音频数据后将该pcm音频数据作为初始音频数据，进而会先判断是否进行变声。其中，判断是否进行变声可以理解为执行前述的检测变声功能是否启动。若检测到进行变声则对接收到的pcm音频数据进行变声处理。其中，变成处理可以包括基于采样率转换对音频数据的音调进行改变，或者基于时间拉伸对音频数据的语速进行改变。

然后，将变声处理后的音频数据进行输出，以输出到后续单元。其中，后续单元可以理解为播放变声处理后的音频数据的音频播放单元。而若在前述检测到不进行变声处理，则会将接收到的pcm音频数据传输到该后续单元。

可选的，在对变声处理后的音频数据进行输出时，还可以同步输出到存储单元，以便对变声处理后的音频数据进行存储。

本实施例提供的一种音频处理方法，通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。并且，在本实施例中，客户端可以提供一个变声参数配置界面，进而使得观众端的用户可以通过可视化操作的方式来配置自己所需的变声参数，有利于提升变声参数配置的便利程度。

请参阅图9，图9所示为本申请一实施例提出的一种音频处理方法的流程图，该方法包括：

s310：获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

s320：基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

s330：获取由所述观众端确定的音效数据。

作为一种方式，所述获取由所述观众端确定的音效数据，包括：获取由所述观众端从待选音频数据中确定的音效数据，所述待选音频数据包括第三方客户端输出的音频数据。

需要说明的是，观众端所在的电子设备中可以还安装有其他的应用程序，而该其他的应用程序也可以进行音频数据的输出。但是，在一些电子设备中，操作系统的音频数据接口是由某个应用程序基于排他的方式进行占用的，例如，可以由前台运行的应用程序基于排他的方式进行占用，进而处于后台运行的其他应用程序即使有待输出的音频数据，但是因为无法与操作系统的音频数据接口进行连接，也无法进行音频数据的输出。在一种方式中，其他的应用程序可以和本实施例中的观众端同步进行运行，该其他的应用程序在后台运行，而本实施例中的观众端在前台运行，在这种情况下，则可以将该正在运行的其他的应用程序待输出的音频数据作为确定的音效数据，以增加到初始音频数据中，进而使得电子设备即使仅在前台运行，本实施例中的观众端，也可以同步的将后台运行的其他的应用程序所输的音频数据进行播放。

可选的，可以在观众端中增加音效增加控件，若检测到作用于该增加音效增加控件的触控操作，则可以显示待增加音效选择界面，该待增加音效选择界面中会显示待选音频数据，以便观众端可以根据用户在待增加音效选择界面中的选择获取到确定的音效数据。示例性的，如图10所示，在图10所示的待增加音效选择界面50中，显示有应用程序a和应用程序b，其中，应用程序a表征应用程序a对应的输出的音频数据，应用程序b表征应用程序b对应的输出的音频数据，若用户选择了应用程序a输出的音频数据，则观众端则会将应用程序a作为目标应用程序，并将应用程序a输出的音频数据作为确定的音频数据。

需要说明的是，因为观众端和其他的应用程序可能无法直接进行通信，那么观众端可以通过操作系统来获取到其他的应用程序输出的音频数据。可选的，观众端可以通过操作系统提供的接口向操作系统发送获取目标应用程序输出音频数据的请求，操作系统则可以响应该请求将应用程序a输出的音频数据缓存到指定存储区域，进而在本实施例中，观众端在向初始音频数据中增加确定的音效数据时，可以直接从该指定存储区域中读取到该确定的音效数据。

需要说明的是，本实施例中在增加确定的音效数据的过程中，具体是向初始音频数据、混音处理后的音频数据，还是变声处理后的音频数据增加确定的音效数据，是根据增加音效所处的阶段进行的，而无论增加音效所处的是哪个阶段，均可以基于前述图10所示方式获取确定的音效数据。

s340：在所述变声处理后的音频数据中增加所述音效数据，得到增加音效的音频数据。

s350：播放所述增加音效的音频数据。

需要说明的是，在初始音频数据中增加音效数据后，在观众端播放增加音效的音频数据的过程中，用户除了会听到主播端传输来的声音外还可以听到所增加的音效数据对应的声音。例如，若确定的音效数据的声音为蝉鸣的声音，那么在播放增加音效的音频数据的过程中，用户除了可以听到主播端传输来的声音外还可以听到蝉鸣的声音。

作为一种方式，所述播放所述变声处理后的音频数据之前还包括：获取由所述观众端生成的混音比例参数；基于所述混音比例参数对所述变声处理后的音频数据进行混音处理，得到混音处理后的音频数据。在这种方式下，所述播放所述变声处理后的音频数据，包括：播放所述混音处理后的音频数据。

下面再通过一示意图来对本实施例中的混音处理进行说明。

如图11所示，会先获取到混音比例参数后，进行同步混音比例参数的操作，以便该混音比例参数作为后续进行混音处理的混音比例参数。其中，接收到的pcm音频数据中可以包括有麦克风音频数据和背景音乐数据，而其中的混音比例参数可以表征的是麦克风音量和背景音乐的音量之间的比例。对于经过混音处理后的音频则会输出到音频播放单元。可选的，在对混音处理后的音频数据进行输出时，还可以同步输出到混音存储单元，以便对混音处理后的音频数据进行存储。

需要说明的是，对于本实施例中的音效数据的增加的具体流程也可以参照图11所示的方式进行，即也可以先进行待选音频数据的同步，以便将待选音频数据同步到音效库，然后在增加音效数据的过程中可以直接从音效库中选择确定的音效数据，进而增加到初始音频数据或者混音处理后的音频数据或者变声处理后的音频数据中。而对于增加音效的音频数据在输出的过程中也可以输出到存储单元进行存储。

作为一种方式，在本实施例中也可以将混音处理和前述的增加音效数据相结合。如图12所示，那么作为结合得到的一种实施例步骤可以包括：

s361：获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

s362：基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

s363：获取由所述观众端生成的混音比例参数。

s364：基于所述混音比例参数对所述变声处理后的音频数据进行混音处理，得到混音处理后的音频数据。

s365：获取由所述观众端确定的音效数据。

s366：在所述混音处理后的音频数据中增加所述音效数据，得到增加音效的音频数据。

s367：播放所述增加音效的音频数据。

其中，需要说明的是，将混音处理和前述的增加音效数据相结合的方式中会对主播传输来的音频数据进行变声处理、混音处理以及增加音效数据这三种处理方式，在本实施例中对于这三种处理方式的前后顺序并不做具体的限定。例如，除了前述先进行变声处理，再依次进行混音处理以及增加音效数据外，也可以先进行混音处理，再进行变声处理，然后再增加音效。

本实施例提供的一种音频处理方法，通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。并且，在本实施例中，对于主播端所传输来的音频数据除了会进行变声处理外，还会进行混音处理或者增加音效数据，并且，对于在混音处理过程中混音比例参数可以由用户进行配置，以及所增加的音效数据可以有用户进行选择，进一步的丰富了观众端适配用户个性化需求的能力。

请参阅图13，图13所示为本申请一实施例提出的一种音频处理方法的流程图，该方法包括：

s410：基于webrtc协议获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

在本实施例中主播端和服务器之间可以是基于webrtc协议进行通信，而服务器与观众端之间也是基于webrtc协议进行通信。进而，服务器会基于webrtc协议将获取到的主播端发送的音频数据传输给观众端。

s420：调用所述webrtc协议对应的资源库中的音频变声单元，以便所述音频变声单元基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

可选的，观众端本身中集成有webrtc协议对应的资源库，以便可以基于该资源库的资源与服务器建立基于webrtc协议的通信通道。在本实施例中，在该webrtc协议的资源库中还集成有音频变声单元，继而使得在接收到初始音频数据后，可直接由观众端本身所使用的通信协议的资源库来进行变身处理，而不用观众端再将初始音频数据传输给观众端以外的其他的客户端进行变身处理，进而可以缩短音频数据的传输路径，也有利于更大程度避免音频数据在传输过程受到损坏。

s430：播放所述变声处理后的音频数据。

本申请提供的一种音频处理方法，通过基于webrtc协议获取主播端发送的音频数据作为初始音频数据，并调用所述webrtc协议对应的资源库中的音频变声单元对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。并且，是在观众端基于webrtc协议与主播端进行通信的情况下，可以直接在本地调用webrtc协议对应的资源库中的音频变声单元对所述初始音频数据进行变声处理，进而使得不用借助第三方的变声软件就可以实现变声功能，缩短了音频数据在播放之前所需途径的路径，有利于降低音频数据造损坏的概率。

请参阅图14，图14所示为本申请一实施例提出的一种音频处理装置500的结构框图，该装置500包括：

音频数据获取单元510，用于获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

音频变声单元520，用于基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

音频播放单元530，用于播放所述变声处理后的音频数据。

作为一种方式，如图15所示，音频处理装置500还包括：变声参数配置单元540、音效处理单元550以及混音处理单元560。

其中，变声参数配置单元540，用于显示变声参数配置界面，所述变声参数配置界面中包括有至少一个参数配置控件；响应于作用于所述参数配置控件的触控操作生成所述变声参数。

作为一种方式，所述初始音频数据为pcm格式的音频数据。音频变声单元520，具体用于将所述初始音频数据转换为对应的多个数组数据，其中，每个所述数组数据表征一帧音频的数据；基于所述变声参数对所多个数组数据进行数据处理，得到处理后的数组数据，所述数据处理包括插入采样点或者删除采样点；将所述处理后的数组数据转换为pcm格式的音频数据，以得到变声处理后的音频数据。

作为一种方式，音频处理装置500还包括：音效处理单元550，用于获取由所述观众端确定的音效数据；在所述变声处理后的音频数据中增加所述音效数据，得到增加音效的音频数据。在这种方式下，音频播放单元530，具体用于播放所述增加音效的音频数据。可选的，音效处理单元550，具体用于获取由所述观众端从待选音频数据中确定的音效数据，所述待选音频数据包括第三方客户端输出的音频数据。

作为一种方式，音频处理装置500还包括：混音处理单元560，用于获取由所述观众端生成的混音比例参数；基于所述混音比例参数对所述变声处理后的音频数据进行混音处理，得到混音处理后的音频数据。或者，混音处理单元560，用于对增加音效的音频数据进行混音处理，得到混音处理后的音频数据。在这种方式下，音频播放单元530，可以用于播放所述混音处理后的音频数据。

作为一种方式，音频变声单元520，用于基于检测变声功能是否启动；若启动，执行所述基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据；若未启动，音频播放单元530，用于播放所述初始音频数据。

作为一种方式，音频数据获取单元510，具体用于基于webrtc协议获取主播端发送的音频数据。在这种方式中，音频变声单元520，具体用于调用所述webrtc协议对应的资源库中的音频变声单元，以便所述音频变声单元基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据。

请参阅图16，图16所示为本申请一实施例提出的一种音频处理装置600的结构框图，该装置600包括：

音频数据获取单元610，用于获取初始音频数据，所述初始音频数据为主播端发送的音频数据。

音频变声单元620，用于基于获取的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，所述变声参数由观众端生成。

音频分发单元630，用于将变声处理后的音频数据发送给观众端，以用于所述观众端播放所述变声处理后的音频数据。

本申请提供的一种音频处理装置，通过获取主播端发送的音频数据作为初始音频数据，并基于由观众端生成的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。

需要说明的是，本申请中装置实施例与前述方法实施例是相互对应的，装置实施例中具体的原理可以参见前述方法实施例中的内容，此处不再赘述。

下面将结合图17对本申请提供的一种电子设备进行说明。

请参阅图17，基于上述的音频处理方法，本申请实施例还提供的另一种包括可以执行前述音频处理方法的处理器102的电子设备100。电子设备100还包括存储器104以及网络模块106。其中，该存储器104中存储有可以执行前述实施例中内容的程序，而处理器102可以执行该存储器104中存储的程序。

其中，处理器102可以包括一个或者多个用于处理数据的核以及消息矩阵单元。处理器102利用各种接口和线路连接整个电子设备100内的各个部分，通过运行或执行存储在存储器104内的指令、程序、代码集或指令集，以及调用存储在存储器104内的数据，执行电子设备100的各种功能和处理数据。可选地，处理器102可以采用数字信号处理(digitalsignalprocessing，dsp)、现场可编程门阵列(field－programmablegatearray，fpga)、可编程逻辑阵列(programmablelogicarray，pla)中的至少一种硬件形式来实现。处理器102可集成中央处理器(centralprocessingunit，cpu)、图像处理器(graphicsprocessingunit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器102中，单独通过一块通信芯片进行实现。

存储器104可以包括随机存储器(randomaccessmemory，ram)，也可以包括只读存储器(read-onlymemory)。存储器104可用于存储指令、程序、代码、代码集或指令集。存储器104可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

网络模块106用于接收以及发送电磁波，实现电磁波与电信号的相互转换，从而与通讯网络或者其他设备进行通讯，例如网络模块106可以发送广播数据，也可以对其他设备发送的广播数据进行解析。所述网络模块106可包括各种现有的用于执行这些功能的电路元件，例如，天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(sim)卡、存储器等等。所述网络模块106可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。例如，网络模块106可以与基站进行信息交互。

需要说明的是，电子设备100可以为前述的服务器也可以为前述的运行有观众端的电子设备。在电子设备100为运行有观众端的电子设备的情况下，电子设备100还可以包括显示屏或者麦克风。

请参考图18，其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质1100中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质1100可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。可选地，计算机可读存储介质1100包括非易失性计算机可读介质(non-transitorycomputer-readablestoragemedium)。计算机可读存储介质1100具有执行上述方法中的任何方法步骤的程序代码1110的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码1110可以例如以适当形式进行压缩。

综上所述，本申请提供的一种音频处理方法、装置、电子设备、服务器及存储介质，通过获取主播端发送的音频数据作为初始音频数据，并基于由观众端生成的变声参数对所述初始音频数据进行变声处理，得到变声处理后的音频数据，再播放所述变声处理后的音频数据。从而通过由观众端来生成变声参数的方式，可以使得对于主播端发送的音频数据可以根据观众自己的喜好来进行变声处理，进而使得观众端可以适配不同用户的个性化需求来播放主播端传输来的音频数据。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

起点商标作为专业知识产权交易平台，可以帮助大家解决很多问题，如果大家想要了解更多知产交易信息请点击 【在线咨询】或添加微信 【19522093243】与客服一对一沟通，为大家解决相关问题。

此文章来源于网络,如有侵权,请联系删除